ニューロモーフィック回路

专利摘要:
本発明の実施形態は、２つ以上の内部ニューロン計算ユニットを含むニューロモーフィック回路に向けられている。各内部ニューロン計算ユニットは、同期信号を受信するための同期信号入力と、入力信号を受信するための少なくとも１つの入力と、出力信号を送信するための少なくとも１つの出力を備える。メムリスティブシナプスは、第１の組をなす１つ以上の内部ニューロンからの出力信号を伝送する出力信号線を、第２の組をなす１つ以上の内部ニューロンに信号を伝送する入力信号線に接続する。
公开号:JP2011515747A
申请号:JP2010550652
申请日:2008-09-29
公开日:2011-05-19
发明作者:スナイダー，グレゴリー，エス
申请人:ヒューレット−パッカード デベロップメント カンパニー エル．ピー．；
IPC主号:G06G7-60

专利说明:

[0001] 関連出願への相互参照
本願は、２００８年３月１４日に提出された仮出願第61/036,864の利益を得ることを請求するものである。
本発明は、エレクトロニクス及びコンピュータハードウェア、特に、ニューロモーフィック回路（または神経形態回路。以下同じ）におけるシナプス様接合の物理特性の変化を通じて機械学習を行うための方法及びシステムに関する。]
背景技術

[0002] コンピュータ計算の歴史の初期には、コンピュータ科学者は、人間の脳を含む生物学的計算構造に興味を持つようになった。逐次（または順次）命令処理エンジンは、過去５０年の間、プロセッサ速度及び部品密度の大幅な向上と共に技術的に急速に発展し、これらの進歩には、大容量記憶装置及びランダムアクセスメモリの容量及びアクセス速度の一層の向上が伴い、逐次命令処理エンジンに基づく現代のコンピュータシステムは、広範な実用性を提供すると共に、デジタルコンピュータの開発前には想像もつかなかった全く新しい産業を生み出ている。しかしながら、最大規模で最高速度の分散コンピュータシステム及びネットワークをもってしても未だ有効に解決できないみかけ上は簡単な多くの問題が存在する。１つのささいな例は、写真及びビデオ画像の理解（または解釈）である。人間は、しばしば、１秒足らずの間写真をちらっと見ただけで、２次元の写真によって表されている、対象物（または物体）、対象物の相互関係、及び、対象物の空間的構成（または配置）を正確に理解することができるが、一方、写真画像をこれと同等に理解することは、最も巧妙に設計されたアルゴリズムを実行する最大規模のコンピュータシステムの能力をもってしても不可能である。さらに、処理能力及び特徴密度（feature density。または集積度）は、２年毎に急速に２倍向上してきた（これは、「ムーアの法則」と呼ばれ、コンピュータの進歩を特徴付けてきた）が、この向上の傾斜がフラットになり始めており、特徴サイズがさらに小さくなることによって、今や物理的な制限や実用上の制約に直面している。これらの制限及び制約には、信号線が小さくなるにつれて電気抵抗が増加すること、特徴サイズが小さくなると特徴の容量が大きくなるためにより多くの熱量を発生するプロセッサから熱を除去することがさらに難しくなること、並びに、一層小さくなる特徴を製造する際に直面する困難さ、及び、さらに小さくなる特徴サイズのための製造施設並びに製造方法を設計することの困難さのために、プロセッサ及びメモリコンポーネントの欠陥及び故障率が高くなることが含まれる。]
[0003] 集積回路内の特徴サイズがこれ以上小さくなると困難性が増すことがわかっているので、集積回路ベースの電子デバイスの計算能力（またはデータ処理能力。以下同じ）を高めるための様々な代替のアプローチが利用され始めてきた。１例として、プロセッサのベンダーは、種々のタスクを並列に実行する複数のコアに計算を分散させることによって計算能力を高めるマルチコアプロセッサを製造している。他の取り組みには、種々の分子エレクトロニクス技術を用いてナノスケールレベルの回路を作製すること、及び、誤り訂正符号の使用と類似の方式の情報科学に基づく理論的アプローチを適用して、電子通信媒体を通じたデータ信号の欠陥のある送信を改善することによって欠陥及び信頼性の問題に対処することが含まれる。]
発明が解決しようとする課題

[0004] 伝統的なコンピューティングアプローチを改善し強化することによって性能を高めるための取り組みに加えて、種々の非伝統的なアプローチが研究されており、これには、生体コンピューティングが含まれる。膨大な研究努力が、人間の脳の構造及び機能の研究に費やされてきた。このような生体システムの基本的な計算エンティティの多くは、マイクロスケールの寸法においてだけでなく分子レベルにおいても生理学的に特定され特徴付けられている。例えば、ニューロン（神経）は、多くはまだ突き止められていないままだが、人間の脳内で信号処理及び信号伝送を担当する細胞のタイプであり、比較的良く理解されよく特徴付けられている。ニューロンの機能のこの理解によって、人工知能のニューラルネットワーク及びパーセプトロンネットワークのサブ分野を含むコンピュータサイエンスの多くの分野が生み出されてきた。パターン認識、複雑な現象の原因の診断、さまざまなタイプの信号処理及び信号雑音除去、並びに他の用途を含むさまざまな異なる用途に対処するために、ニューラルネットワークの多くの成功したソフトウェア実装が開発されてきた。しかしながら、人間の脳は構造的な観点からは超並列であり、このような並列性はソフトウェア実装及びニューラルネットワークによってシミュレーションすることができるが、それらのシミュレーションは、必然的に１つ又は比較的少数の逐次命令処理エンジン上で動作し、むしろコンピューティングシステム内の物理的な並列性を活用するので、一般にプロセッサーサイクルによる限界がある。このように、ニューラルネットワークは、雑音に対する耐性、学習能力、及び他の望ましい特性を提供することができるが、現在のところ、超並列生体計算構造の極めて高速且つ高帯域幅のコンピューティング能力を提供していない。]
[0005] 製造された物理的なデバイスにおいて生体計算構造の極めて高速且つ高帯域幅のコンピューティング能力を達成するには、計算ノードの超並列相互接続ネットワーク上で計算タスクを実行する必要がある。物理的なニューラルネットワークを実施するための多くの異なる手法が提案されてきたが、それらの実施は、これまでのところ、比較的単純な生体構造の速度、並列性、及び計算能力にも達していない。加えて、超並列ハードウェアの設計及び製造は、多数の動的接続の信頼することができる製造、サイズ及び電力の制約条件、放熱、信頼性、プログラム可能であることを含む柔軟性、並びに他の多くのこのような考慮すべき事項を含む多数の異なる実際的な問題をはらんでいる。しかしながら、解決法を見つけることができるか否かが明らかではない多くの理論的問題とは異なり、人間の脳を含む計算生体構造が存在し、見事な計算妙技を規則的に行っているという事実は、同様の計算能力及び計算効率を有する計算装置を設計し構築するという目標が完全に可能であることを示唆していよう。]
[0006] 現在の取り組みは、「ニューロモーフィック回路」と呼ばれるナノスケール回路を開発することに向けられている。この回路は、効率及び低電力性が劇的に向上した並列コンピュータマシンを有する生物有機体を提供する生物神経回路を模倣したものである。しかしながら、多くの現在のアプローチは、相補型金属酸化膜半導体（CMOS）技術で実施された従来のロジックを利用して、シナプスと等価なニューロモーフィック回路を実施するが、これは、ニューロンと等価なニューロモーフィック回路を作製できる密度を、半導体チップの表面積の１平方センチメートル当たり数千のニューロンが存在する程度まで、厳しく制限している。リソグラフィーベースの論理回路において実施されるニューロン計算ユニットを相互接続するメムリスティブ（memristive）なシナプス様接合を用いてニューロモーフィック回路を実施するための種々のアプローチが提案されている。これらの提案された実施の多くにおいて、回路全体が、結局はメムリスティブ接合の物理的特性による制約を受けることになり、及び、望ましくないレベルの消費電力は、頻繁に直面することになる改善するのが困難な問題である。このため、ニューロモーフィック回路の研究者及び開発者、ニューロモーフィック回路を含む装置の製造者及びベンダー、並びに、最終的には、ニューロモーフィック回路を含む装置のユーザは、ニューロモーフィック回路の実装、及び、ニューロモーフィック回路内のシナプス様接合の物理的特性の制御された変化であってかつ決定論的な変化を通じたフレキシブルで実用的かつ低電力のシナプス様学習を提供する関連する方法の開発を続けている。]
課題を解決するための手段

[0007] 本発明の実施形態は、２つ以上の内部ニューロン計算ユニットを含むニューロモーフィック回路に向けられている。内部ニューロン計算ユニットの各々は、同期信号を受信するための同期信号入力、入力信号を受信するための少なくとも１つの入力、及び、出力信号を送信するための少なくとも１つの出力を備える。メムリスティブシナプスは、第１の組をなす１つ以上の内部ニューロンからの出力信号を伝送する出力信号線を、第２の組をなす１つ以上の内部ニューロンに信号を伝える入力信号線に接続する。]
図面の簡単な説明

[0008] 一般化され、かつ定型化されたニューロンを示す。
より抽象的なニューロンの表現を示す。
神経細胞を抽象的に表している図であり、電気化学的勾配及び信号を制御し、該勾配及び該信号に応答し、並びに、ニューロン出力信号の発火（または興奮）を起動するために使用されるニューロンの外膜における電気化学的勾配及びチャネルの異なるタイプを示している。
ニューロン発火（またはニューロン興奮）を示す。
ニューロン発火（またはニューロン興奮）を示す。
動的ニューロン強化現象のモデルを示す。
典型的なニューラル・ネットワークのノードを示す。
活性化関数の１例を示す。
図８とは異なる活性化関数の１例を示す。
単純な３レベルニューラル・ネットワークを示す。
現在利用可能な技術によって製作可能なナノワワイヤ接合のメムリスティブ特性を示す。
現在利用可能な技術によって製作可能なナノワワイヤ接合のメムリスティブ特性を示す。
メムリスティブなナノワイヤ接合によって接続された２つの信号線に印加された電圧信号に関して、時間に対する、メムリスティブなナノワイヤ接合のコンダクタンスを示す。
メムリスティブなナノワイヤ接合によって接続された２つの信号線に印加された電圧信号に関して、時間に対する、メムリスティブなナノワイヤ接合のコンダクタンスを示す。
メムリスティブなナノワイヤ接合によって接続された２つの信号線に印加された電圧信号に関して、時間に対する、メムリスティブなナノワイヤ接合のコンダクタンスを示す。
メムリスティブなナノワイヤ接合によって接続された２つの信号線に印加された電圧信号に関して、時間に対する、メムリスティブなナノワイヤ接合のコンダクタンスを示す。
メムリスティブなナノワイヤ接合によって接続された２つの信号線に印加された電圧信号に関して、時間に対する、メムリスティブなナノワイヤ接合のコンダクタンスを示す。
ハイブリッド型マイクロスケール−ナノスケールニューロモーフィック集積回路の基本的な計算セルを示す。
シナプスの挙動をモデル化する２つのナノワイヤ間のメムリスティブ接合を示す。
シナプスをモデル化するために使用されるメムリスティブ接合の本質的な電子的特性を示す。
シナプスをモデル化するために使用されるメムリスティブ接合の本質的な電子的特性を示す。
ハイブリッド型マイクロスケール−ナノスケールニューロモーフィック集積回路の種々の実施形態において基本的な計算ユニットとして機能する神経細胞（または神経系細胞）を示す。
ハイブリッド型マイクロスケール−ナノスケールニューロモーフィック集積回路内の計算セルの相互接続を示す。
ハイブリッド型マイクロスケール−ナノスケールニューロモーフィック集積回路内の計算セルの相互接続を示す。
ハイブリッド型マイクロスケール−ナノスケールニューロモーフィック集積回路内の計算セルの階層的な相互接続を示す。
図２０以降の図で使用されるいくつかの表記上の取り決め事を示す。
図２０以降の図で使用されるいくつかの表記上の取り決め事を示す。
図２０以降の図で使用されるいくつかの表記上の取り決め事を示す。
例示的なニューロモーフィック回路のごく一部を示す。
指数関数的減衰関数のパルス幅変調ベースの表現である。
指数関数的減衰関数のパルス幅変調ベースの表現である。
指数関数的減衰関数のパルス幅変調ベースの表現である。
指数関数的減衰関数のパルス幅変調ベースの表現である。
本発明の１実施形態を表すニューロモーフィック回路内のニューロンの記号表現であり、該ニューロンは、他のニューロンによる信号送信と同期（または同調）してメムリスティブなシナプスを通じて信号を送信することができる。
本発明の実施形態にしたがう基本的な信号同期モデルを示す。
指数関数的減衰関数のパルス幅変調表現である。
図２５Ａとは異なる指数関数的減衰関数のパルス幅変調表現である。
本発明の実施形態にしたがうニューロモーフィック回路内の２つのニューロンを示す。それらのニューロンの出力及び入力には英数字によるラベルが付されている。
本発明の実施形態にしたがうニューロモーフィック回路におけるニューロンによって生成されて送信される定電圧パルス信号を示す。
本発明の実施形態にしたがうニューロモーフィック回路におけるニューロンによって生成されて送信される定電圧パルス信号を示す。
本発明の実施形態にしたがうニューロモーフィック回路におけるニューロンによって生成されて送信される定電圧パルス信号を示す。
本発明の実施形態にしたがうニューロモーフィック回路におけるニューロンによって生成されて送信される定電圧パルス信号を示す。
本発明の実施形態にしたがうニューロモーフィック回路におけるニューロンによって生成されて送信される定電圧パルス信号を示す。
本発明の実施形態にしたがうニューロモーフィック回路におけるニューロンによって生成されて送信される定電圧パルス信号を示す。
本発明の実施形態にしたがう、図２７Ａ−図２７Ｆに示す同期化された信号を生成するニューロモーフィック回路−ニューロン信号処理ロジックの１実施例を示す。
本発明の実施形態にしたがう、図２７Ａ−図２７Ｆに示す同期化された信号を生成するニューロモーフィック回路−ニューロン信号処理ロジックの１実施例を示す。
本発明の実施形態にしたがう、図２７Ａ−図２７Ｆに示す同期化された信号を生成するニューロモーフィック回路−ニューロン信号処理ロジックの１実施例を示す。
本発明の実施形態にしたがう、図２７Ａ−図２７Ｆに示す同期化された信号を生成するニューロモーフィック回路−ニューロン信号処理ロジックの１実施例を示す。
本発明の実施形態にしたがう、図２７Ａ−図２７Ｆに示す同期化された信号を生成するニューロモーフィック回路−ニューロン信号処理ロジックの１実施例を示す。
本発明の実施形態にしたがう、図２７Ａ−図２７Ｆに示す同期化された信号を生成するニューロモーフィック回路−ニューロン信号処理ロジックの１実施例を示す。
本発明の実施形態にしたがう、図２７Ａ−図２７Ｆに示す同期化された信号を生成するニューロモーフィック回路−ニューロン信号処理ロジックの１実施例を示す。
本発明の実施形態にしたがう、図２７Ａ−図２７Ｆに示す同期化された信号を生成するニューロモーフィック回路−ニューロン信号処理ロジックの１実施例を示す。
本発明の実施形態にしたがう、図２７Ａ−図２７Ｆに示す同期化された信号を生成するニューロモーフィック回路−ニューロン信号処理ロジックの１実施例を示す。
本発明の実施形態にしたがう、図２７Ａ−図２７Ｆに示す同期化された信号を生成するニューロモーフィック回路−ニューロン信号処理ロジックの１実施例を示す。
本発明の実施形態にしたがう、入力信号をニューロンに接続するために使用できる仮想接地回路の可能性のある１つの実施例を示す。] 図２０ 図２５Ａ 図２７Ａ 図２７Ｆ 図８
実施例

[0009] 本発明は、ニューロモーフィック回路のニューロンを相互接続するシナプス様接合の物理的状態の制御された変化であってかつ決定論的な変化による機械学習を提供するために、ニューロモーフィック回路、並びに、ニューロモーフィック回路によって実施され、または、ニューロモーフィックに実装される方法に向けられている。最初のサブセクションでは、ニューロモーフィック回路及びシナプス様接合を概観する。２番目のサブセクションでは、本発明の方法及びシステムの実施形態が説明される。
ニューロモーフィック回路及びシナプス様接合
ニューロモーフィック回路内部
生物学的ニューロン
ニューロンは、動物の脳に見られる細胞の１タイプである。ニューロンは、唯一の基本的な生物学的エンティティであるかはともかく、その１つであると考えられている。人間の脳は、１０００億（１０１１）程度のニューロン、及び、ニューロン間に１００兆（１０１４）程度の相互接続を含んでいると推定されている。人間の脳内のニューロン間のこの莫大な量の相互接続は、生物学的コンピューティング（バイオコンピューティング）の大規模並列処理（または超並列処理）特性に直接相関していると考えられている。]
[0010] ニューロンの各々は単一の細胞である。図１は、一般化され、かつ定型化されたニューロンの図である。ニューロン１０２は、細胞核１０６と、ミトコンドリアを含む種々の細胞小器官とを含む細胞体１０４、細胞体１０４から出ている樹状突起１０８などの多数の枝分かれした樹状突起、及び、多くの枝分かれした伸張部（branching extension）１１２で終端する一般的には非常に長い１つの軸索１１０を有する。一般的には、樹状突起は、他のニューロンから信号を受け取るための拡大されたニューロン表面領域をもたらし、一方、軸索は、該ニューロンから他のニューロンへ信号を送る役目を果たす。軸索１１２の末端枝は、他のニューロンの樹状突起と結合し、これより頻度は少ないが、細胞体とも結合する。単一のニューロンは、１０００００個もの異なる信号入力を受け取ることができる。同様に、ニューロンは、数十、数百、または、数千もの下流側のニューロンに信号を送ることができる。ニューロンは、樹状突起及び末端の軸索伸長部の数、分岐の程度、並びに、容積及び長さに関して、所与の個体内で大きく異なる。たとえば、軸索の長さの範囲は、１ミリメートルよりはるかに短い長さから１メール超までの長さにわたる。軸索の長さ及び接続性におけるこのフレキシビリティによって、信号経路の階層的なカスケード、並びに、脳内の信号伝達経路及びカスケードの極めて複雑な接続ベースの組織化が可能とされている。] 図１
[0011] 図２は、ニューロンのより抽象的な表現を示す。一般に、ニューロンは、入力２０４などの複数の入力から入力信号を受け取り、該入力の時間的及び空間的特性に応じて、出力信号２０６を発火する（発火信号を出力する）ことによって閾値強度より大きな入力刺激に応答するノード２０２であると考えることができる。換言すれば、ニューロンは、閾値処理、信号生成、及び信号出力機構と組み合わされた非常に複雑な入力信号積算器（統合器）であると考えることができる。信号積算器が、有限の時間期間にわたって、及び、ノード表面の十分に小さな領域内で十分な数の入力信号を累算するときには、ニューロンは、出力信号を発火させることによって応答する。] 図２
[0012] 上記したように、所与のニューロンによって受け取られる入力信号は、他のニューロンの末端の軸索枝と該所与のニューロンの樹状突起との間のシナプス接合によって該所与のニューロンに接続された該他のニューロンの出力信号によって生成される。ニューロン間のこれらのシナプス、すなわち、接続部は、接続の強さまたは重みを動的に調整している。接続の強さまたは重みの調整は、学習と記憶の両方に大きく寄与すると考えられており、脳内の並列計算の重要な部分を表している。]
[0013] ニューロンの機能は、複雑な電気化学的勾配及びイオンチャネルから得られ、及び、それらに依存している。図３は、神経細胞を抽象的に表した図であり、電気化学的勾配及び信号を制御し、かつ、該勾配及び該信号に応答し、並びに、ニューロン出力信号の発火（または興奮）を起動するために使用されるニューロンの外膜における異なるタイプの電気化学的勾配及びチャネルを示している。図３において、ニューロンは、球状の膜に囲まれた細胞３０２として表されており、その内容物３０４は、チャネル３１０などの種々のタイプのチャネルを含む２重壁の疎水性膜３０８によって外部環境３０６から分離されている。これらの種々のタイプのチャネルは、ニューロンの内部と外部環境との間に制御された化学的な連絡手段を提供する。] 図３
[0014] ニューロンの特性に主たる責任があるチャネルは、外部環境からニューロンへと、及び／または、ニューロンの内部から外部環境へと特定の無機イオンを伝送可能にする選択性の高いイオンチャネルである。特に重要な無機イオンには、ナトリウムイオンＮａ＋、カリウムイオンＫ＋、カルシウムイオンＣａ２＋、塩素イオンＣｌ−が含まれる。イオンチャネルは、一般に、連続して開いているのではなく、種々のタイプの刺激に応答して、選択的に開かれたり閉じられたりする。電圧ゲート式チャネルは、ニューロン膜全体（または両端）にかかる電圧または電界に依存して開閉する。他のチャネルは、機械的応力によって選択的に開閉し、さらに他のタイプのチャネルは、配位子（リガンド）、すなわち、神経伝達物質を含む一般的に小分子の有機化合物の結合及び解放に応答して開閉する。いくつかの機能グループをイオンチャネルプロテインに追加したり該プロテインから除去することによって、イオンチャネルの挙動及び応答をさらに制御し変更することができる。かかる追加及び除去は、キナーゼ及びホスファターゼを含む種々のタイプの酵素によって実行され、これらの酵素は、種々のタイプの化学信号カスケードによって制御される。]
[0015] 一般に、休止状態、すなわち、発火していない状態では、ニューロン内部では、外部環境３１８よりも、ナトリウムイオン３１２の濃度が低く、これに応じて、塩素イオン３１４の濃度も低いが、外部環境３１８よりもカリウムイオン３１６の濃度は高い。休止状態では、ニューロン膜全体において（または両端間に）有意な４０−５０ｍＶの電気化学的勾配があり、該膜の内部は、外部環境に対して電気的に負である。電気化学的勾配は、主に、アクティブなＮａ＋−Ｋ＋ポンピングチャネル３２０によって生成され、該チャンネル３２０は、アデノシン三リン酸の形態で、化学エネルギーを使用して、２つのカリウムイオンが外部環境からニューロンの内部に運び込まれる毎にニューロンの内部から外部環境へと放出される３つのナトリウムイオンを絶えず交換する。ニューロンはまた、カリウムイオンがニューロンの内部から漏れて外部環境へ戻ることを可能にする受動性のＫ＋リークチャネル３１０を含んでいる。これによって、カリウムイオンを、イオン濃度勾配及び電気的勾配に関して平衡状態にすることが可能になる。]
[0016] ニューロン発火、すなわち、スパイキングは、ニューロン膜の局所的な脱分極（または減極。以下同じ）によって起動される。換言すれば、膜全体（または膜の両端）における通常は負の電気化学的勾配の急激な低下は、出力信号を作動させる結果となる。ニューロン発火を表すニューロン膜の波状のグローバルな（または膜全体に及ぶ）脱分極は、電圧ゲート式ナトリウムチャネル３２４によって促進（または容易）にされ、該チャネル３２４は、ナトリウムイオンがニューロンの内部に入って、Ｎａ＋−Ｋ＋ポンプチャネル３２０によって以前に確立された電気化学的勾配を下げることを可能にする。ニューロン発火は、活性状態の短いパルスを表し、該パルスの後に、ニューロンは発火前と同様の状態に戻り、この状態において、ニューロン膜全体における（または該膜の両端間の）通常の負の電気化学的勾配が再度確立される。電圧ゲート式カリウムチャネル３２６は、発火後のニューロン膜全体における（または該膜の両端間の）電気化学的勾配の再確立を容易にするために、膜の脱分極に応答して開いて、カリウムイオンの流出によって化学的カリウムイオン勾配を下げることができるようにする。ニューロン膜の局所的な脱分極によって開かれた電圧ゲート式カリウムチャネル３２４は、開いている状態では不安定であり、電圧ゲート式カリウムチャネル３２６とＮａ＋−Ｋ＋チャネル／ポンプ３２０の両方の動作によって、不活性状態に比較的迅速に移行して、負の膜電位を再度確立できるようにする。]
[0017] ニューロン膜脱分極は、ニューロン細胞膜の小さな局所的な領域で始まり、軸索を下って軸索の末端枝までを含むニューロン細胞全体に波状に広がる。軸索の末端枝における脱分極は、細胞外放出（エキソサイトーシス）３２８による電圧ゲート式神経伝達物質放出を作動させる。発火しているニューロン（「シナプス前ニューロン」と呼ばれる）の軸索末端枝と、信号を受信しているニューロン（各々が「シナプス後ニューロン）と呼ばれる）の樹状突起との間のシナプス領域への該軸索の末端枝による神経伝達物質の放出は、シナプス前ニューロンからシナプス後ニューロンへの信号の送信を引き起こすシナプス後細胞の樹状突起上の受容体による、放出された神経伝達物質の結合をもたらす。シナプス後ニューロンにおける、神経伝達物質ゲート式イオンチャネル３３０及び３３２への伝達物質の結合は、興奮性入力信号と抑制性入力信号をそれぞれもたらす。ナトリウムイオンをニューロン３３０中に運ぶ神経伝達物質ゲート式イオンチャネルは、シナプス領域に隣接するニューロン膜の局所的な脱分極に寄与し、それゆえ、興奮性信号を提供する。これとは対照的に、神経伝達物質活性式塩素イオンチャネル３３２は、ニューロン細胞内への負に帯電した塩素イオンの導入をもたらし、これによって、該膜全体における（または該膜両端間の）通常の休止時の負電圧勾配が回復されまたは強化され、それゆえ、局所的な膜脱分極を抑制して、抑制性信号を提供する。神経伝達物質の放出は、ニューロンへのカルシウムの流入を可能にする電圧ゲート式カルシウムイオンチャネル３２９によっても促進（または容易に）される。]
[0018] Ｃａ２＋活性化カリウムチャネル３３４は、ニューロン内のカルシウムイオンの増加をもたらす高頻度の膜の脱分極及び信号発火の後の膜の脱分極能力を低下させるように機能する。長期間絶えず刺激を受けたニューロンは、それゆえに、刺激への反応性が低下する。初期には、カリウムイオンチャネルは、ニューロン発火に必要なしきい値刺激に近い刺激レベルへとニューロン発火レベルを低下させるように機能する。これによって、しきい閾値刺激領域近辺での全か無かのタイプ（all-or-nothing type）のニューロン応答を防止し、代わりに、ニューロンの刺激の範囲に対応するニューロン発火の頻度の範囲を提供する。ニューロン発火の大きさは、概ね一定であり、出力信号の強度は、ニューロン発火の頻度に反映する。]
[0019] ニューロンの他の興味ある特徴は、長期増強(long term potentiation)である。シナプス後細胞が、シナプス後膜が強く脱分極されているときに発火すると、シナプス後細胞は、シナプス前ニューロンからの後続の信号に対する応答性がより高くなりうる。換言すれば、シナプス前ニューロンとシナプス後ニューロンが時間的に近接して発火すると、相互接続の強さまたは重みが増加しうる。]
[0020] 図４−図５は、ニューロン発火を図示している。図４において、休止状態のニューロン４０２は、膜４０４全体における（または該膜両端間の）負電圧勾配を呈する。休止状態のニューロンが、神経伝達物質を介して伝達された信号入力４０６を受け取ると、ニューロン膜の小さな領域４０８は、抑制性信号入力に対する刺激性信号入力の十分なアクセスを受けて、該ニューロン膜の４０８の小さな領域を脱分極させることができる。この局所的な脱分極は、電圧ゲート式ナトリウムチャネルを活性化させて、ニューロン膜を横断して軸索へと広がる波状のグローバルな脱分極を生じさせ、ナトリウムイオンが、ナトリウム-イオン-濃度勾配に沿ってニューロンに入るときに、ニューロン膜全体における（または該膜両端間の）電圧勾配を一時的に逆にする。電圧勾配の逆転によって、ニューロンが、発火、すなわち、スパイキング状態になり、上述したように、この状態において、軸索の末端枝は、神経伝達物質信号をシナプスに放出してシナプス後ニューロンに信号を送る。電圧ゲート式ナトリウムチャネルは迅速に不活性になり、電圧ゲート式カリウムチャネルは開き、休止状態の負電圧勾配が迅速に回復される（４１２）。図５は、スパイクすなわち発火中にニューロン膜上のそのポイントにおいて電圧勾配が逆転することを示している。一般に、電圧勾配は負である（５２０）が、ニューロン発火すなわちスパイキング、及び、出力信号が軸索を下って該軸索の末端枝まで伝搬することを表す波状の膜脱分極中は一時的に逆転する（５２２）。] 図４ 図５
[0021] 図６は、動的なシナプス強化現象に関するモデルを示す。図６は、シナプス前スパイキングとシナプス後スパイキングとの時間差をΔｔとして横軸６０４に沿ってプロットし、シナプス強化Ｆを縦軸６０２にプロットしたものである。シナプス前ニューロンが、シナプス後ニューロンの発火に時間的に近接してそれより前に発火するときには、シナプス強化の量は、縦軸の左側におけるプロットされた曲線６０６の急激に増大する部分によって表されているように比較的大きい。Ｆのこのプロット部分はヘブ学習（Hebbian learning）に対応しており、この部分では、シナプス後ニューロン発火とシナプス前ニューロン発火における相関関係（相互関係）がシナプス強化につながる。これとは対照的に、シナプス前ニューロンが、シナプス後ニューロンの発火直後に発火するときは、縦軸の右側においてプロットされた曲線の急激に上昇する曲線部分６０８によって表されているようにシナプス強度は弱められる。シナプス前ニューロンとシナプス後ニューロンの発火が時間的に相関していないとき、換言すれば、Δｔが大きいときは、原点から離れるにしたがって横軸に近付くプロットされた曲線の部分によって表されているように、シナプス強度は大きな影響を受けない。曲線６１０の右側部分の上の領域によって表されている、シナプス前ニューロン発火とシナプス後ニューロン発火の相関関係に対してシナプスが弱まるように応答するのは、プロットされた曲線６１２の左側部分の下の領域によって表されている、シナプス前ニューロン発火とシナプス後ニューロン発火の間の相関関係に起因するシナプス強化とは異なりうる。] 図６
[0022] 要約すれば、ニューロンは、閾値化機能及び出力信号生成機能と組み合わされた幾分漏れ（または減衰）のある入力信号漏洩積分器（leaky integrator）として機能する。一定の高い刺激に対するニューロン応答は時間と共に減少するが、ニューロンの興奮性刺激が高まるとニューロンの発火頻度は増加する。シナプス、すなわちニューロン間の接合部を、シナプス前及びシナプス前ニューロン発火における相関関係によって強くしたり弱くしたりすることができる。さらに、刺激を強くしない場合には、シナプス強度及びニューロン刺激はいずれも時間と共に小さくなる。ニューロンは、高度に分岐した樹状突起及び軸索の終端分岐、並びに、軸索の長さによってサポートされたニューロン間接続の極めて高い密度の結果として生物有機体内に超並列ニューロンネットワーク（超並列神経回路網）のための基本的な計算ユニットを提供する。
ニューラルネットワーク及びパーセプトロンネットワーク（perceptron network）
人工知能の分野に属するとみなされるニューラルネットワーク（神経回路網ともいう）は、当初は、生物学的な信号処理及び計算機能を活性化して利用することを試みによって動機付けされていたが、十分に有効かつ有用であることがわかってきたので、研究者及び開発者は、最近では、ニューラルネットワークのソフトウエア実施を容易にするための専用のハードウェアプラットフォームを開発しているだけでなく、ニューラルネットワークをハードウェアで直接構築することを試みている。ニューラルネットワークは、本質的に、計算機能を有する相互接続ノードの回路網である。図７は、典型的なニューラルネットワークのノード（以下、ニューラルネットワークノードという）を示す。ニューラルネットワークノードが、図２に示すニューロンのモデルを連想させることは驚くには当たらない。ニューラルネットワークノード７０２は、複数のｎ個の有向リンク（directed link）７０５〜７０８からの入力に加えて、特殊リンクｊ０からの入力も受信し、軸索分岐のように分岐する場合がある出力リンク７１０上に出力信号を生成して、複数の異なる下流側ノードへ信号を送信する。有向入力リンク７０５〜７０８は、ニューラルネットワークの上流側ノードの出力信号若しくは出力信号からの分岐であるか、又は、第１レベルのノードの場合には、ニューラルネットワークへの或るタイプの入力に由来する。上流側ノードはそれぞれ活性度（または活性化）に関連付けられ、活性度はいくつかの実施態様では０から１の範囲に及ぶ。各入力リンクは重みに関連付けられている。したがって、図７に示すニューラルネットワークノードｉは、活性度




を有するｎ個の上流側ニューラルネットワークノードからｎ個の入力ｊ１，ｊ２，…，ｊｎを受信し、各入力ｊ１，ｊ２，…，ｊｎは、対応する現在の重み




に関連付けられている。換言すれば、活性度はノードの特性であり、重みはノード間のリンクの特性である。ニューラルネットワークノードｉは、受信した重み付けされた入力信号から活性度ａｉを計算し、計算された活性度ａｉに対応する信号を出力信号線７１０上に出力する。図７に示すように、ニューロンの非常に単純化したモデルを、




と表すことができる。ここで、ｇ（）は非線形活性化関数である。図８及び図９は、活性化関数の２つの異なる例を示す。特殊入力信号線ｊ０は、一定の活性度




を有する内部バイアスを表す。この内部バイアスに関連付けられた重み




は、ノードのしきい値を設定するのに使用される。実際の入力信号線ｊ１，ｊ２，…，ｊｎから入力された重み付けされた活性度の合計が、




のバイアス重みを超えていると、ニューロンは活性状態にあり、信号ａｉを出力する。図８に示す第１の活性化関数ｇ（）は、ハードしきい値を表し、図９に示す第２の活性化関数ｇ（）は、ソフトしきい値を提供する。ニューロンのより一般的なモデルでは、ニューロン出力発火は、ニューロンへの重み付けされた入力の履歴の関数であり、しばしば、確率的であり、それゆえ、必ずしもしきい値を利用しない。出力信号ａｉは、任意の種々の形態をとることができ、任意の種々の手段によるニューロン活性（ニューロン活動）の程度を反映することができる。該任意の種々の手段には、スパイク出力の持続時間、スパイク出力の頻度、各スパイクの電圧または電流の大きさを変更することや、線形信号の電圧または電流を変更することや、情報を信号に符号化する任意の他の手段が含まれる。] 図２ 図７ 図８ 図９
[0023] 図１０は、単純な３レベルニューラルネットワークを示す。このニューラルネットワークは、４つの入力ノード１００２〜１００５、２つの中間ノード１００８及び１００９、及び最高レベルの出力ノード１０１２を含む。入力ノード１００２〜１００５は、それぞれニューラルネットワークへの１つ又は複数の入力を受信し、それぞれ、中間ノード１００８及び１００９の１つ以上へと内部接続、すなわちエッジを通って送られる出力信号を生成する。次に、中間ノードは、それら中間ノードを出力ノード１０１２に接続するエッジへの出力信号を生成する。信号がエッジに沿って入力ノードから出力ノードに向けて一方向のみに向けて送られるニューラルネットワークは、「フィードフォワードネットワーク（feed-forward network）」と呼ばれ、信号がより高レベルのノードからより低レベルのノードへと伝搬することを可能にする図１０のエッジ１０１４及び１０１５などのフィードバックエッジを含むニューラルネットワークは、「回帰ネットワーク（recurrent network）」と呼ばれる。対応する任意の個数のノードをニューラルネットワークに含めることができると仮定すると、多層ニューラルネットワークを、任意の次元及び複雑度の一般的な非線形関数を表すのに使用することができる。] 図１０
[0024] ニューラルネットワークは、トレーニングされると、一般に複雑な非線形関数を実施して、出力信号を生成することにより入力信号に応答する。ニューラルネットワークを、断続的又は連続的に再トレーニングすることもでき、それにより、時間の経過と共に、ニューラルネットワークによって表される複雑な非線形関数は、以前の信号処理経験を反映する。]
[0025] 本発明のさまざまな実施形態を表す、ニューラルネットワーク、パーセプトロンネットワーク、及び他の並列分散型動的ネットワークのノードの物理的なノード実装
現在までのほとんどのニューラルネットワークベースのシステムは、本質的に、ニューラルネットワークの挙動をソフトウェアシミュレーションしたものである。ノードは、データ構造及び付随するルーチンとして実施され、ノード及びエッジ重みは、従来の逐次命令実行形式で反復的に更新される。その結果、ニューラルネットワークの多くの役立つ特性を利用することができるが、ニューラルネットワークは、人間の脳を含む真の並列コンピューティングシステムで得られる計算速度を提供しない。その上、エッジ重みのダイナミクス及び漏洩積分（リーク積分）を含むニューロン様機能のシミュレーションは、特に逐次形式で繰り返し実行されると、計算的にかなり高価になる場合がある。]
[0026] この理由により、さまざまな異なる実施方策及び材料を使用して物理的なニューラルネットワークを構築する多くの試みがなされてきた。しかしながら、今日まで、どの物理的な実装も、単純な生物学的信号処理構造の密度及び計算効率に近づいてさえいない。多数の動的接続を設けるという問題、さまざまな製造及び組み立ての制約の問題、放熱に関する問題、信頼性に関する問題、及び他の多くの問題がある。]
[0027] 従来の論理回路に類似するナノスケール回路を製造する際に悩みの種となる、種々のナノスケール金属−酸化物特性を含む、ナノワイヤ接合のメムリスティブ特性及び多くの他のメムリスティブ材料は、ニューラルネットワーク、並びに、相互接続された計算ノードを備える他の並列分散型動的処理ネットワークにおける動的エッジに必要な特性であることが分かっている。したがって、比較的単純に製造されたナノスケールナノワイヤ接合（部）は、プログラミング又はアルゴリズム計算の必要なく、ナノスケールサイズで動的エッジに機能性（または動的エッジ用の機能）を提供する。ノード間の接続数は、人間の脳を含む、ほとんどの自然に発生する信号処理構造及び計算構造におけるノード数を大きく超えるので、計算ノードのハードウェアネットワークを実施するのに使用される接続は、小さく、容易に製造することができ、且つエッジすなわちシナプスに必要な物理的特性に近い固有の物理的特性を有することが望ましく、その場合には、接続の動的性質をハードウェアへとプログラミングする必要も、ハードウェアベースの論理回路によってシミュレーションする必要もない。]
[0028] メムリスティック材料（memristic material）
図１１Ａ及び図１１Ｂは、現在利用可能な技法によって製造することができるナノワイヤ接合部のメムリスティブ特性（memristivecharacteristics）を示す。図１１Ａは、単一のナノワイヤ接合部を示す。ナノワイヤ接合部は、第１の入力ナノワイヤ１１０４と第２の出力ナノワイヤ１１０６との間の接合部にメムリスティブ材料の１つ又は複数の層１１０２を備える。電流は、所定の電流範囲及び電圧範囲内では、以下の電流モデルに従う。




ここで、ｗは接合部の状態変数であり、νは接合部の両端に印加される電圧であり、Ｇ（ｗ,ν）は、通常は、電圧に関して非線形的に変化する、接合部のコンダクタンスである。時間に関する状態変数の変化率は、次式に示すように、現在時刻における状態変数の値及びナノワイヤ接合部に印加されている電圧の双方の関数である。




メムリスティブ材料の導電率（導電性ともいう。以下同じ）を表す単一の状態変数ｗによってモデル化されるある部類のナノワイヤ接合部について、時間に関する状態変数、すなわち導電率、の変化率は、




として近似することができる。ここで、Ｋ及びＭは、０から最大値ｗｍａｘまでの｜ｗ｜の値の範囲については一定である。この範囲外では、ｄｗ／ｄｔは、０であると想定される。図１１Ｂは、この数式のプロットを示す。図１１Ｂの実線の曲線１１０８は、Ｋ及びＭの想定された特定の値についての上記数式のプロットを示す。時間に関する導電率の変化率は、異なるタイプの接合部材料では、図１１Ｂに破線でプロットされた鏡像の曲線１１１０をたどる場合もあるし、他のより複雑な非線形関数によって変動する場合もある。しかしながら、一般的には、ナノワイヤ接合部のメムリスティブな振る舞いは、コンダクタンスの変化が印加電圧に関して明らかに非線形であるような振る舞いである。電圧０の辺りの小電圧範囲１１１６における接合部の両端の正極性又は負極性のいずれかの小さな印加電圧は、接合部材料の導電率に有意な変化を生じさせないが、この範囲外では、正極性の印加電圧が次第に大きくなると、その結果、接合部材料の導電率の増加率が次第に大きくなり、一方、負極性の電圧が次第に大きくなると、その結果、接合部材料の導電率の変化率は急激に減少する。ナノワイヤ接合デバイスのコンダクタンスは、接合部材料の導電率に比例する。]
[0029] メムリスティブナノワイヤ接合部（memristive nanowire junction）のコンダクタンスの変化について上記で説明したモデルは、メムリスティブナノワイヤ接合部のコンダクタンスと印加電圧との間の関係のうちの１つの可能なタイプの関係しか表していないことが強調されるべきである。本発明の実施形態を表す計算ノード及び計算ノードネットワークの実施は、上記で説明した数学モデルに対応するためにコンダクタンスと印加電圧との間の関係には依存せず、所与の時間期間ｔの間、接合部の両端に１Ｖを印加することによって引き起こされるコンダクタンスの変化が、同じ時間ｔの間、該接合部の両端に２Ｖを印加することによって引き起こされるコンダクタンスの変化よりもかなり小さいということ、及び、第１の極性の印加電圧によって引き起こされるコンダクタンスの変化が、第２の極性の印加電圧とは逆の符号、すなわち逆の方向を有するということのみに依存する。所望のエッジ重み付けモデルを達成するために、異なる極性について時間ｔを調整することができるので、この関係は、上記で説明したモデル関係のようには鏡面対称性を有する必要はない。]
[0030] 図１２Ａ−図１２Ｅは、メムリスティブナノワイヤ接合部によって接続された２つの信号線に印加される電圧信号に関する、メムリスティブナノワイヤ接合部の経時的なコンダクタンスを示す。図１２Ａは、メムリスティブナノワイヤ接合部を記号表現で示している。メムリスティブナノワイヤ接合部１２０２は、「信号線１」と呼ばれる第１の信号線１２０４と、「信号線２」と呼ばれる信号線１２０６とを相互接続する。メモリスタ（memrister）１２０２に印加される電圧Δｖはｖ２−ｖ１である。ここで、ｖ２及びｖ１は、それぞれ、信号線２と信号線１に現在印加されている電圧信号である。図１２Ｂは、或る時間間隔にわたる、信号線１及び２に印加される電圧信号のプロット、並びにメムリスティブデバイスのコンダクタンスを示す。時間は、信号線１、信号線２、及びメムリスティブデバイスについて横方向に沿ってプロットされている。信号線１に現在印加されている電圧信号は、縦軸１２１４に関してプロットされ、信号線２に現在印加されている電圧は、第２の縦軸１２１６に関してプロットされ、メムリスティブデバイスのコンダクタンスは、第３の縦軸１２１８に関してプロットされている。図１２Ｃ−図１２Ｅはすべて、図１２Ｂで使用されたのと同様の表記上の取り決め事を使用している。] 図１２Ａ
[0031] 図１２Ｂに示すように、横線１２１０及び１２１１によって表される定電圧ｖ０が双方の信号線に印加されているときは、メムリスティブデバイスのコンダクタンスは、初期コンダクタンスＧ０ １１２に留まる。図１２Ｃでは、短い正の電圧パルス１２２０が、第１の信号線に印加される。その短いパルスは、メムリスティブ接合部の両端に短時間の負の電位を生成し、その結果、正のパルスの時間間隔にわたってメムリスティブ接合部のコンダクタンスが減少する（１２２２）。図１２Ｄは、信号線１及び２の双方に印加されるいくつかのパルスの影響を示す。第１のパルス１２２４が信号線１に印加された結果、図１２Ｃと同様に、メムリスティブデバイスのコンダクタンスは若干（すなわち、少しだけ）減少する（１２２６）。短時間の負の電圧パルス１２２８が第２の信号線に印加されると、メモリスタのコンダクタンスはさらに、若干減少する（１２３０）。短時間の正のパルスが第２の信号線に印加された結果、メムリスティブデバイスのコンダクタンスは若干増加する（１２３４）。]
[0032] これまでに示したケースのすべてにおいて、第１の線及び第２の線に印加されたパルスは、時間的に互いから離れており、その結果、双方の信号線上の電圧パルスは、同じ時点では発生しない。したがって、小さな印加電圧は、メムリスティブデバイス材料の導電率の小さな変化率しかもたらさない電圧の範囲（図１１Ｂの１１１６）内にある。一方、図１２Ｅに示すように、逆極性の電圧が２つの信号線に同時に印加されると、その結果、メモリスタの両端に印加される電圧は、小電圧範囲（図１１Ｂの１１１６）の範囲外となり、その結果、導電率の変化率は比較的大きくなる。図１２Ｅでは、正極性の２つの同時の電圧パルス１２４０及び１２４２の結果、メムリスティブ接合部に印加される電圧は変化せず、したがって、メムリスティブデバイスのコンダクタンスは変化しない（１２４４）。一方、第１の信号線上の正のパルス１２４６及び第２の信号線上の負のパルス１２４８が同時に印加されると、その結果、メムリスティブデバイスに負極性の比較的大きな電圧が印加され、その結果、デバイスのコンダクタンスは負に大きく変化する（１２５０）。これとは対照的に、反転した極性の同時パルス１２５２及び１２５４の結果、デバイスのコンダクタンスは比較的大きく増加する（１２５６）。メムリスティブデバイス材料の導電率／電圧曲線が、図１１Ｂにおいて破線の曲線によって表される逆の導電率変化の振る舞いを有することなるか、又は、Δｖを計算するための電圧表記法の方向が反転された場合は、図１２Ｂ−図１２Ｅのコンダクタンス変化は、図示したものとは逆の方向を有することになる。]
[0033] 要約すれば、メムリスティブナノワイヤ接合部、及び、メムリスティブ材料から製造される他のナノスケール特徴は、印加電圧の結果として非線形のコンダクタンス変化を示す。メムリスティブナノワイヤ接合部のコンダクタンスは、これまでの印加電圧の履歴を反映し、メモリスティブナノワイヤ接合部の所与の時点におけるコンダクタンスの変化率は、メムリスティブナノワイヤ接合部のコンダクタンスに加えて、その時点の印加電圧の大きさ及び極性に依存する。メムリスティブナノワイヤ接合部は極性を有し、コンダクタンス変化の符号は印加電圧の極性を反映している。メムリスティブナノワイヤ接合部は、したがって、ニューラルネットワーク、パーセプトロンネットワーク、又は計算エンティティの他のこのようなネットワークの動的エッジのモデル特性に対応する物理的特性を有する。]
[0034] 提案されたニューロモーフィックアーキテクチャ
近年、シナプスが、ナノワイヤ間のメムリスティブ接合として、または、メムリスティブ材料から製造される他のナノスケール特徴として実施される、高ニューロン密度ニューロモーフィック集積回路用のアーキテクチャが提案されている。ナノワイヤ信号線は、生物学的神経回路の樹状突起及び軸索をまねており、半導体集積回路層の上のナノワイヤ相互接続層内に作製され、それゆえ、後述の説明において「ニューラルセル（neural cell：神経系細胞）」と呼ばれる計算機能を有するニューロンセル（神経細胞）、及び、マルチ計算セルモジュールを実装するための半導体集積回路表面が保持される。したがって、ハイブリッド型マイクロスケール−ナノスケールニューロモーフィック集積回路は、デジタルロジックまたはアナログ回路ではなく、メムリスティブナノワイヤ接合を利用してシナプスを実装することができ、ニューラルセル間のシナプス及びシナプスベースの相互接続は、半導体集積回路層上のナノワイヤ相互接続層内に実装されて、３次元ハイブリッド型マイクロスケール−ナノスケールニューロモーフィック回路アーキテクチャにおいてはるかに高いニューラルセル密度を提供する。]
[0035] 図１３は、ハイブリッド型マイクロスケール−ナノスケールニューロモーフィック集積回路の基本的な計算機能を有するセル（以下、計算セルという）を示す。計算セルは、半導体集積回路層１３０２の定型領域（または正多角形領域）を含み、該領域から、４つの導電性ピン１３０４−１３０７が垂直に延びている。図１３のナノワイヤ１３０８などの水平方向のナノワイヤは、パッド状構造１３１０などのパッド状構造を貫通する導電性ピンと相互接続し、ハイブリッド型マイクロスケール−ナノスケールニューロモーフィック集積回路の二次元配列をなす計算セル中の計算セル１３０２の近傍内の複数の計算セルを横断して直線状に延びている。さらに後述するように、計算セル１３０２の半導体集積回路層は、ニューロンまたは他の基本的な計算デバイスのモデルを実施する種々の相互接続及びアナログコンポーネントを含み、それらのうちのいくつかについては、さらに詳細に後述する。４つの垂直ピン１３０４−１３０７は、計算セル１３０２の半導体集積回路層の部分内のアナログコンポーネント及び回路を、ナノワイヤ１３８０などのナノワイヤの層に相互接続するように機能する。次に、ナノワイヤは、シナプスをモデル化するナノワイヤ及びメムリスティブ接合を介して、該計算セルを近傍の計算セルに相互接続することができる。] 図１３
[0036] 図１４は、シナプスの挙動をモデル化する２つのナノワイヤ間のメムリスティブ接合を示す。図１４において、第１の計算セル１４０２は、近傍の計算セル１４０４に隣接して配置されている。第１のナノワイヤ１４０６は、隣接する近傍の計算セル１４０４の垂直ピン１４０８に接続されている。第２のナノワイヤ１４１０は、図１４の前面に示されている計算セル１４０２の垂直ピン１４１２に電子的に接続されている。第１のナノワイヤ１４０６と第２のナノワイヤ１４１０は、図１４の破線の小さな円１４１４によって区切られた領域において互いにオーバーラップしており、このオーバーラップ領域は差し込み図１４１６で拡大されて示されている。第１のナノワイヤ１４０６と第２のナノワイヤ１４１０の間に、該第１のナノワイヤを第２のナノワイヤに電子的に相互接続するメムリスティック材料１４１８の小さな層がある。２つのナノワイヤ間のメムリスティブ接合を、差し込み図１４１９に示すように、２つの信号線１４２２と１４２４を相互接続するメモリスタシンボル１４２０によって記号的に表すことができる。さらに後述するように、相互接続層内のナノワイヤの各々は、メムリスティブ接合を介して多くの異なるナノワイヤと相互接続することができる。] 図１４
[0037] 図１５Ａ及び図１５Ｂは、シナプスをモデル化するために利用されるメムリスティブ接合の本質的な電子的性質を示す。図１５Ａ及び図１５Ｂの両方とも、メムリスティブ接合についての電流／電圧プロットを示している。電圧は横軸１５０２に関してプロットされ、電流は縦軸１５０４に関してプロットされている。電圧曲線（電圧の振れの様子）が図１５Ａに示されている。電圧曲線を構成する連続的な電圧変化が、図１５Ａの電流／電圧プロット１５１６と位置合わせされてその下方に示された、第２の電圧軸１５１４に関してプロットされた電圧経路１５１２によって表されている。図１５Ａに示すように、電圧曲線は、０（ゼロ）の電圧１５０６から電圧Ｖ＋ｍａｘ１５０８まで着実に増加し、次に、負の電圧Ｖ−ｍａｘ１５１０まで連続的に減少し、その後、０（図１５Ａの１５０６）へと増加する。電流／電圧プロットは、電圧曲線にわたってメムリスティブ材料の導電率がどのように変化するかを示している。] 図１５Ａ 図１５Ｂ
[0038] 最初に、メムリスティブ材料は低導電率状態にあるので、電圧が０（図１５Ａの１５０６）からＶ＋ｍａｘ１５０８のすぐ下まで増加するときのプロット１５１８の第１の部分では、電流の大きさは比較的小さいままである。Ｖ＋ｍａｘの近くでは、メムリスティブ材料の抵抗が非線形的に急激に小さくなる、すなわち、導電率が急激に大きくなるので、電流は急速に上昇し始める（１５２０）。次に、電圧がＶ＋ｍａｘからＶ−ｍａｘ１５１０まで下がるときに、プロット１５２２及び１５２４の各部分における対応する電圧値に対するメムリスティブ材料を流れる比較的大きな電流量からわかるように、メムリスティブ材料の導電率は高いままである。負電圧Ｖ−ｍａｘの近くでは、メムリスティブ材料のコンダクタンスは突然、急激に減少し始める（１５２６）。電圧が再び０に向かって増加する（図１５Ａの１５２８）ときに、メムリスティブ材料は、保持されているＶ−ｍａｘにおける低コンダクタンス状態になる。図１５Ｂに示すように、第２の電圧曲線１５３０は、破線１５３２によって示されている第１の電圧曲線にわたって生成されたコンダクタンスよりもメムリスティブ材料のコンダクタンスを大きくする。他の電圧曲線は、これまでの電圧曲線にわたって生成されるコンダクタンスよりもメムリスティブ材料のコンダクタンスをさらに大きくすることができる。したがって、連続的に上昇しまたは低下する印加電圧の下では、メムリスティブ材料のコンダクタンスは非線形性を呈示し、さらに、以前のコンダクタンス状態のメモリ機能を呈する。換言すれば、種々のタイプのメムリスティブ材料について、メムリスティブ材料の物理的状態ｗは、次式に示すように、メムリスティブ材料の現在の物理的状態と印加電圧の両方の関数として時間に関して変化する。




メムリスティブ接合部を流れる電流ｉは、印加電圧と材料のコンダクタンスの関数であり、コンダクタンスｇは、次式に示すように、メムリスティブ材料の現在の状態と印加電圧の両方の関数である。




図１５Ａ及び図１５Ｂに示すように、メムリスティブ接合部のコンダクタンスは、現在印加されている電圧、並びに、先行する時間期間にわたって印加された電圧の履歴に依存する。] 図１５Ａ 図１５Ｂ
[0039] シナプスは一般に、シナプス前ニューロンｉによって生成されて、該シナプスを介してシナプス後ニューロンｊに向けて送られる信号を増幅しまたは減衰させる。いくつかのモデルでは、シナプスのゲイン（利得）または重みは、０．０から１．０の範囲であり、ゲイン０．０は信号を完全に減衰させることを表し、ゲイン１．０は信号を減衰させないことを表す。これらのモデルでは、ニューロンは活性化しており、ニューロンｉの活性度ｘｉがあるしきい値よりも大きいときには、該ニューロンは出力信号を放出する。ニューロンの挙動の数学的モデルは次の節で提供される。シナプス前ニューロンｉをシナプス後ニューロンｊに相互接続するシナプスのゲインｚｉｊの変化率の１つの数学的モデルは、次のように表される。]
[0040] ここで、ｚｉｊは、シナプス前ニューロンｉをシナプス後ニューロンｊに相互接続するシナプスｉｊの重みまたは該シナプスｉｊによって生成されたゲイン、εは学習率、ωは忘却率、ｆ（ｘｊ）はニューロンｉの活動度の非線形関数、ｇ（ｘｉ）はニューロンｊの活動度の非線形関数、ｔは時間である。]
[0041] 多くの場合において、ｆ（）及びｇ（）は一般にシグモイド（Ｓ字形状）である。１つの例示的なシグモイド関数、すなわち、「Ｓ」字状関数は、tanh()である。シナプス前ニューロン及びシナプス後ニューロンの両方が高い活動度を有するときは、ゲインｚｉｊは急速に高くなる。項−ωｚｉｊは、項−ωｚｉｊの大きさが、シナプス後ニューロンの活動度ｇ（ｘｉ）の非線形関数の現在値よりも大きいときに、シナプスのゲインが時間とともに減少することを確実にする。シナプスの重みは、フィードバック項−ωｚｉｊのために、自由に増加または減少することはできない。該フィードバック項は、シナプスのシナプス重みが１．０に近付くときには該シナプスの重みを小さくし、該シナプスの重みが０．０に近付くときにはフィードバックを次第に小さくするように作用する。シナプスの挙動の数学的モデルは、ニューロン活動度の数学的モデルに依存し、該モデルは、互いに対して相互にフィードバックを行う。シナプスゲインの数学的モデルと、メムリスティブ接合部の導電率変化を記述する上記の式、特にコンダクタンス関数ｇ（w,v）との比較から理解されるように、シナプスモデルのニューロン活動度の非線形関数ｆ（ｘｉ）及びｇ（ｘｉ）は、ニューロン間の物理的電圧に関連し、所与の時点におけるゲインｚｉｊは、メムリスティブ接合部に印加された電圧の履歴に関連するので、メムリスティブ接合部のコンダクタンスはゲイン関数の物理的実施形態を提供することができ、該関数の時間導関数は上記の数学的モデルとして表される。メムリスティブナノワイヤ接合部のコンダクタンスの関数表現は、したがって、メムリスティブナノワイヤ接合部によって接続されたシナプス前ニューロンとシナプス後ニューロンの現在の活動度、並びに、メムリスティブナノワイヤ接合部の最近の印加電圧の履歴に依存する。したがって、メムリスティブナノワイヤ接合部の相互接続ナノワイヤは、上記の数学的モデルによって表されるシナプス挙動をモデル化するのに適した電流信号を通過させるための物理的特徴を提供する。]
[0042] 図１６は、ハイブリッド型マイクロスケール−ナノスケールニューロモーフィック集積回路の種々の実施形態における基本的な計算ユニットとして機能するニューラルセルを示す。ニューラルセルは、ハイブリッド型マイクロスケール−ナノスケールニューロモーフィック集積回路内の計算セルの１つのタイプである。上述したように、ニューラルセル１６０２は、４つの垂直導電性ピン１６０４−１６０７を備える。これらのピンは、それらのコンパス方位で参照され、図１６の計算セルの右側にコンパス図１６１０がある。ＮＷピン１６０４及びＳＥピン１６０５は、ニューラルセルから、ＮＷピン１６０４及びＳＥピン１６０５に相互接続されたナノワイヤへと出力信号を伝える。ＳＷピン１６０６及びＮＥピン１６０７はいずれも、それらのピンに接続されたナノワイヤからそれらのピンに入力された信号をニューラルセル１６０２に伝える。ＳＷピン１６０６は抑制性信号をニューラルセルに伝え、ＮＥピン１６０７は興奮性入力信号をニューラルセルに伝える。興奮性入力信号はニューラルセルの活動度を高める傾向があり、抑制性信号はニューラルセルの活動度を低下させる傾向がある。] 図１６
[0043] 図１６に示す基本的なニューラルセル１６０２は、一般に、ニューロンの種々の異なる数学的モデルのうちの１つを実施する。一般に、受け取った興奮性信号の頻度及び数が、抑制性信号の頻度及び数を大きく上回ると、ニューロンの活動度は、一般に、あるしきい値活動度値を超えて増加し、そのしきい値活動度値を超えた時点で、該ニューロンは、出力ピン１６０４及び１６０５を通じて出力信号を放出する。] 図１６
[0044] 入力興奮性信号及び入力抑制性信号は、ハイブリッド型マイクロスケール−ナノスケールニューロモーフィック集積回路の他のニューラルセルからシナプス様メムリスティブナノワイヤ接合部を介して受信され、ニューラルセル１６０２によって放出された出力信号は、シナプス様メムリスティブナノワイヤ接合部を通じて、ハイブリッド型マイクロスケール−ナノスケールニューロモーフィック集積回路の他の計算セルへと送られる。ニューラルセル及びニューロモーフィック回路は、一般に、種々のフィードバック機構を備え、ニューロモーフィック回路内の個々のニューラルセルの活動度を制御し及び制約する非線形挙動を呈する。シナプスを介して密に相互接続された比較的少数のニューラルセルだけを含む適度なサイズのニューロモーフィック回路でさえ、かなり複雑な機能性を示す場合があり、該機能性は、閉形式(closed-form)数学的表現を用いてモデル化することはできない場合がしばしばあり、かつ、伝統的なブール論理ベースのデジタル論理回路では実施するのが難しい。図１６において、入力１６１２及び出力１６１２は、４つの垂直ピンを通じた信号の受信及び信号の送信に加えて、全てのニューラルセルが、ハイブリッド型マイクロスケール−ナノスケールニューロモーフィック集積回路の半導体集積回路レベル内に実装された追加のマイクロスケールまたはサブマイクロスケールの信号線を通じて、隣接する計算セルと相互接続できることを示している。] 図１６
[0045] 図１７Ａ及び図１７Ｂは、ハイブリッド型マイクロスケール−ナノスケールニューロモーフィック集積回路内の計算セルの相互接続を示す。図１７Ａは、４ピン計算セルの３×３配列（３×３アレイ）を示す。上述したように、計算セル１７０２などの計算セルの各々は、２つの出力ピン１７０４及び１７０６、抑制性入力ピン１７０８、及び、興奮性入力ピン１７１０を含む。図１７Ｂは、図１７Ａに示すような計算セルの３×３配列を示し、該配列上に、平行なナノワイヤの２つサブレイヤ（副層）とメムリスティブ材料のサブレイヤ（副層）から構成される相互接続層が実装されている。図１７Ｂにおいて、計算セル１７０２の入力ピン１７１０などの各入力ピンは、左側のほぼ水平なナノワイヤ１７１４を右側のほぼ水平なナノワイヤ１７１６に結合し、左側と右側の両方のナノワイヤ１７１４及び１７１６を入力ピン１７１２に結合するパッド１７１２に接続している。したがって、計算セルの配列中の入力ピンに接続された全てのナノワイヤは、平行なナノワイヤの第１のサブレイヤを形成する。図１７Ｂに示すように、ナノワイヤは、計算セルの３×３配列の上側水平エッジ１７１８と下側水平エッジ１７２０の方向に対してわずかに回転している。この回転によって、ナノワイヤは、左方向と右方向の両方向に水平に延びることができ、かつ、それらのナノワイヤがパッド及び垂直ピンを介して接続されている計算セル内にある、または、該計算セル外部にある任意の追加の垂直ピンの上にかぶさることなく多くの近傍の計算セルに及ぶことができる。計算セル１７０２内の出力ピン１７０４などの出力ピンの各々は、同様に、ほぼ垂直なナノワイヤに接続されている。したがって、計算セルの３×３配列内の出力ピンに接続されたナノワイヤは、ほぼ平行なナノワイヤの第２のサブレイヤを形成し、該第２のサブレイヤのナノワイヤは、第１のサブレイヤのナノワイヤとほぼ直交する。] 図１７Ａ
[0046] 図１７Ｂにおいて、ナノワイヤ間のメムリスティブナノワイヤ接合部は、２つのナノワイヤ間の交差部において充填された円盤１７２４などの小さな充填された円盤として図示されている。メムリスティブナノワイヤ接合部１７２４は、シナプス前ニューラルセル１７２６とシナプス後ニューラルセル１７２８を相互接続するシナプスをモデル化する。メムリスティブナノワイヤ接合部１７２４は、シナプス前計算セル１７２６の出力ピン１７３０をシナプス後ニューラルセル１７２８の抑制性入力ピン１７３２に相互接続する。複数のナノワイヤ相互接続層を、ハイブリッド型マイクロスケール−ナノスケールニューロモーフィック集積回路の半導体集積回路層の上に実装することができる。複数の相互接続層によって、シナプス様メムリスティブナノワイヤ接合部を介して複数の階層的な論理レベルでニューラルセルを相互接続することが可能になる。複数の相互接続層のニューロモーフィック集積回路アーキテクチャによって、計算セルの非常に多くの可能性のある異なる相互接続構成が提供され、したがって、非常に多くの可能性のある異なるニューロモーフィック回路を実施するための極めてフレキシブルで有効な相互接続アーキテクチャが提供される。]
[0047] いくつかのハイブリッド型マイクロスケール−ナノスケールニューロモーフィック集積回路では、ナノワイヤ接合部を、オン及びオフ状態になるように、製造中に構成することができ、または、その後プログラムすることができる。この場合、オンに構成されたナノワイヤ接合部だけが電流を通してシナプス様の挙動を呈し、オフに構成されたナノワイヤ接合部は開いたスイッチとして動作する。他のハイブリッド型マイクロスケール−ナノスケールニューロモーフィック集積回路では、全てのナノワイヤ接合部がオン状態になるように構成され、各ナノワイヤ接合部のコンダクタンスは、該ナノワイヤを通る電圧信号のみによって決定される。]
[0048] 図１８は、ハイブリッド型マイクロスケール−ナノスケールニューロモーフィック集積回路内の計算セルの階層的な相互接続を示す。図１８は、計算セルの２４×２８配列１８０２を示している。各セルには、該配列の下に設けられた論理レベルキー１８０４にしたがって論理レベルが割り当てられている。たとえば、暗くされた計算セル１８０６などの暗くされた計算セルは、第１の論理レベルを形成する。計算セルのこのような階層的論理的配置を、１つのナノワイヤ−相互接続層を用いて各レベルのニューラルセルを相互接続することによって実施することができる。たとえば、第１レベルの計算セルを、第１のナノワイヤ−相互接続層内のナノワイヤ及びメムリスティブナノワイヤ接合によって横方向に相互接続することができる。同様に、第２論理レベルのセルを、第２のナノワイヤ−相互接続層によって相互接続することができる。さらに、前方への相互接続及びフィードバック形の相互接続は、複数の相互接続レベルを横切ることができ、これによって、論理レベル間の信号の交換を可能にする。計算セルの階層的に順序化された層は、種々のタイプのパターン認識ニューロモーフィック回路、及び、複数の入力から推論を行う推論エンジンにおいて有用である。] 図１８
[0049] 本発明の方法及びシステムの実施形態
上述したように、本発明の方法及びシステムの実施形態は、シナプス様接合部の物理的特性の制御された変化であってかつ決定論的な変化を通じた機械学習に向けられており、該シナプス様接合部を介して、ニューロモーフィック回路のニューロン処理ユニットが相互接続されている。本発明のいくつかの方法及びシステムの実施形態を図示し説明するために、種々の図表記上の取り決め事を使用する。図１９Ａ−図１９Ｃには、後続の図面で使用されるいくつかの図表記上の取り決め事が示されている。先ず、図１９に示すように、ニューロモーフィック回路のニューロンまたはニューロン処理ユニットは、後続の図面では、図１９Ａに示す記号１９０２によって表される。ニューロンは、単一の出力１９０４を生成して、単一の興奮性入力１９０６及び単一の抑制性入力１９０８を受け取る。もちろん、ニューロンを、２つ以上の出力を生成するように、または、興奮性入力と抑制性入力の一方のみを受け取るように、または、２つ以上の興奮性入力及び／または２つ以上の抑制性入力を受け取るように実施することもできる。しかしながら、以下の説明では、図１９Ａに示されている記号によってシンボル化された単純なニューロンが、本発明の種々の実施形態を説明するために使用されるニューロモーフィック回路の基礎となる。] 図１９Ａ 図１９Ｃ
[0050] 本発明の種々の実施形態を説明するために使用される例示的なニューロモーフィック回路では、シナプスは、メムリスティブ材料から作製され、図１９Ｂに示す記号１９１０によって表される。図１９Ｃは、電圧／電圧降下グラフにおいて、図１９Ｂのメムリスティブ−シナプスシンボル１９１０に関連する電圧に関係する取り決め事を示している。メムリスティブシナプスは、非対称形であり、図１９Ｂにおいて「ａ」でラベル付けされた、該記号の垂直バー部１９１２を有する一方の端部、及び、図１９Ｂにおいて「ｂ」でラベル付けされた、垂直バー部のない反対側の端部を有する。「ａ」でラベル付けされた端部に印加された電圧が、図１９Ｃのグラフの縦軸の右側の部分にあるように、「ｂ」でラベル付けされた端部に印加された電圧よりも大きい、すなわち、より正側にあるときは、図１９Ｃにおける、上向きの矢印によって表されている２つの正の電圧降下１９１４及び１９１６で示すように、メムリスティブシナプス（の両端）における電圧降下は正であると考えられる。これとは逆に、「ｂ」でラベル付けされている端部に印加された電圧が、「ａ」でラベル付けされた端部に印加された電圧よりも大きい、すなわち、より正側にあるときは、図１９Ｃにおける、２つの下向きの矢印１９１８及び１９２０によって示すように、メムリスティブシナプス（の両端）における電圧降下は負であると考えられる。図１９Ｃは、メムリスティブシナプスの２つの端部に印加される電圧の符号が原点１９２２以外では逆であるという特殊なケースを示しているが、電圧降下の符号の取り決め事は、メムリスティブシナプスの端部に印加される電圧におけるどのような違いにも適用される。] 図１９Ｂ 図１９Ｃ
[0051] 図２０は、例示的なニューロモーフィック回路のごく一部を示す。図２０に示す例示的な回路において、線２００５などの細い線で示されている第１のナノワイヤ−クロスバー層内の、それぞれ、「Ｅ１」、「Ｅ２」、「Ｅ３」と呼ばれる３つのニューロン２００２−２００４が、第２のナノワイヤ−クロスバー層内の、それぞれ、「Ｏ１」、「Ｏ２」、「Ｏ３」と呼ばれる３つのニューロン２００６−２００８の興奮性入力に信号を出力する。これらの入力線のごく一部のみが、斜め線２００９などの斜め線として図２０に示されている。太線２０１０などの太線で示されている第３のナノワイヤ−クロスバー層内の、それぞれ、「Ｉ１」、「Ｉ２」、「Ｉ３」と呼ばれる３つのニューロン２０１０−２０１２は、ニューロンＯ１、Ｏ２、Ｏ３の抑制性入力に信号を出力する。充填された円盤２０１１などの充填された円盤は、図の平面にほぼ垂直なバイアまたはピンを示し、ナノワイヤ−クロスバー層間接続を提供することに留意されたい。ニューロンＯ１、Ｏ２、Ｏ３の入力の各々が、興奮性であろうが抑制性であろうが、ニューロンＥ１、Ｅ２、Ｅ３と、ニューロンＩ１，Ｉ２、Ｉ３のいずれかによって出力された信号の総和を表す信号を受け取る。たとえば、ニューロンＯ１の興奮性入力２０１４は、ニューロンＥ１、Ｅ２、Ｅ３によって出力された信号e１、e２、e３の組み合わせである興奮性信号oe1を受け取る。ノードＥ１、Ｅ２、Ｅ３からでる信号線は、それぞれ、３つのメムリスティブシナプスg１１、g２１、g３１によってニューロンＯ１の興奮性入力２０１４と相互接続される。したがって、ニューロンＯ１の興奮性入力２０１４への全信号入力は、oe１＝e１g１１＋e２g１２＋e３g１３である。したがって、３つのニューロンＯ１、Ｏ２、Ｏ３に対する興奮性入力及び抑制性入力を、次の行列方程式によって計算することができる。




本発明のいくつかの実施形態では、上記式で表されるように、gｉｊは、メムリスティブ接合部のコンダクタンスを指すので、出力信号は電圧パルスであり、シナプスを通過した後は、該信号を、下流側のニューロンに対する入力における電流信号とみなすことができる。本発明の１実施形態では、後述するように、電流信号は、ニューロンの入力における電圧信号に変換して戻される。] 図２０
[0052] 信号が電圧信号と電流信号のいずれと見なされるかに関係なく、図２０から、ニューロモーフィック回路の出力ニューロンＯ１，Ｏ２、Ｏ３に対する入力は、入力ノードＥ１、Ｅ２、Ｅ３、及び、Ｉ１、Ｉ２、Ｉ３から出力される信号と、それらの入力ノードから出る信号線とそれらの出力ニューロンへの入力信号線とを相互接続するそれぞれのシナプス様接合部の物理的特性gｉｊの両方に依存するということが理解される。現在説明している例示的なニューロモーフィック回路では、gｉｊはメムリスティブ接合部のコンダクタンスを指している。しかしながら、代替的な実施形態では、シナプス様接合部の他の物理的特性を、シナプス様接合部を介する信号伝搬を変更するものと見なすことができる。現在説明している回路におけるメムリスティブシナプス様接合部のコンダクタンス、及び、より一般的な場合におけるシナプスの物理的特性は、ニューロモーフィック回路内のメモリ（記憶要素）を表し、該メモリの現在の状態は、生体内の記憶要素が、生体が知覚入力にどのように反応するかに影響を与えるのと同様に、ニューロモーフィック回路の出力に影響を与える。] 図２０
[0053] これまでに提案したいくつかのニューロモーフィック回路実装において、ニューロンは、完全にアナログデバイスであり、時間的に互いに同期化されていない。これらの実装では、メムリスティブ接合部のコンダクタンスは、シナプスを通る信号の前方への伝搬及び後方への伝搬によって非同期的に変更される。かかるニューロモーフィック回路は、スパイクタイミング依存可塑性（「ＳＴＤＰ」）学習モデルや他の学習モデルにしたがう学習を呈することができるが、メムリスティブ接合部の物理的特性のために、及び、ナノスケール接合部を通って伝搬する連続信号に起因して、強い制約があり、結果として、多くの電力量を浪費して、比較的大きな熱量を生じる。]
[0054] 上記した非同期型ニューロモーフィック回路モデルに関連する問題に対処するために、本発明の方法及びシステムの実施形態は、ニューロモーフィック回路内のニューロンのクロックベースの同期化を用いて、ニューロモーフィック回路を通る信号伝搬を調整し、これによって、連続信号ではなく、タイミングをとられた持続時間が比較的短い電圧パルス信号を用いて、シナプス様接合部の物理的特徴の制御された決定論的な変更を提供する。本発明の方法及びシステムの実施形態は、これまでに提案したアナログニューロモーフィック回路の制約の多くを除去し、これによって、任意の種々の異なる学習モデルを実施することができ、電力損失を受容可能なレベルまで制御可能である。本発明の実施形態によれば、所望であれば、単一のニューロモーフィック回路の異なるそれぞれの部分に異なる学習モデルを実装することさえも可能である。]
[0055] 本発明のいくつかの実施形態は、数値を符号化して送信するためにパルス幅変調（「ＰＷＭ」）を利用する。図２１Ａ−図２２Ｂは、指数関数的減衰関数のパルス幅変調ベースの表現を示す。図２１Ａは、正の実数直線の一部、及び、該線のセグメントの一部内、すなわち、該線のセグメントの一部によって表された実数の範囲内の特定の数値を示している。正の実数直線２１０２のその部分は、原点２１０４から最大値８．０（２１０６）までの連続する線セグメントを含んでいる。実数５．５（図２１Ａの２１０８）を検討する。実数５．５は、英数字列「５．５」として、または、浮動小数点値５．５として表わされることができるが、英数字列及び浮動小数点値を符号化して送信するためには、本発明の実施形態が指向するニューロモーフィック回路に実装するのが望ましいものよりもはるかに複雑な符号化及び復号化アルゴリズムが必要となるであろうし、また、そのような符号化の利用は、一般に、計算上非効率であろう。さらに、本発明の方法及びシステムの実施形態は、送信する数値に比例するか、または関連する特徴をメムリスティブ接合部に付与しうる電圧または電流信号への数値の完全なまたはほぼ直接的な符号化法に依存する。実数値５．５の直接符号化の１つの方法は、第２の持続時間を有するあるタイムスロットまたは時間期間における所定の第１の持続時間の定電圧パルスを使用することである。この場合、第１と第２の持続時間の比は５．５／８、すなわち、０．６８７５に等しく、これは、符号化することができる数の範囲内の最大数に対する符号化される数５．５の比である。したがって、図２１Ｂのグラフ２１１８に示すように、持続時間２１１２のタイムスロット内の持続時間２１１０の電圧パルス２１１６を送信すると、比０．６８７５すなわち５．５／８が符号化される。したがって、電圧パルスを受信するエンティティ（たとえば構成要素）により、該電圧パルスによって表すことができる最大の実数である８．０に、固定長のタイムスロットの持続時間２１１２に対する電圧パルスの持続時間２１１６の比を乗じることによって、数５．５を得ることができる。] 図２１Ａ 図２１Ｂ 図２２Ｂ
[0056] 図２２Ａは、縦軸２２０４が電圧を表し、横軸２２０６が時間を表す、指数関数的減衰関数２２０２のプロットを示す。指数関数的減衰関数は次のように表すことができる。




ここで、Ｖは最大電圧（図２２Ａの２２０８）であり、ｔは時間であり、τは時定数である。] 図２２Ａ
[0057] この関数を、離散値に変換して、指数関数的減衰曲線２２０２に沿った選択されたポイントをパルス幅変調ベースの表現で表すことによって、図２２Ｂに示すように、一連の定電圧パルスとして送ることができる。図２２Ｂに示すグラフ２２１０は、図２２Ａのグラフと同様に、電圧を時間に対してプロットしたものであるが、図２２Ａの連続関数として示されている指数関数的減衰関数の離散表現を提示している。図２２Ｂは、図２２Ａに示す連続関数を、時間軸２２０６に沿った「０」、「１」、「２」として図２２Ａに示す個々の時間ポイントでサンプリングすることによって図２２Ａから得られたものである。図２１Ａ及び図２１Ｂを参照して説明したパルス幅変調技術は、これらの時間ポイントの各々においてサンプルされた連続関数の値を定電圧パルスへと符号化するために利用され、この場合、定電圧パルス２２２０−２２２２は、それぞれ、時刻「０」、「１」、「２」における指数関数的減衰関数の数値を表している。図２２Ｂにおいて、定電圧パルスは、しきい値電圧２２２６より低い電圧値Ｖp２２２４を有することに留意されたい。しきい値２２２６は、ニューロモーフィック回路のメムリスティブシナプスのしきい値電圧値である。上述したように、メムリスティブシナプスに印加された電圧降下が、該システムのしきい値電圧値より低い値を有するときは、メムリスティブシナプスのコンダクタンスはほとんど変化しないが、該しきい値電圧値以上の量の電圧降下がメムリスティブシナプスに印加されているときは、該シナプスのコンダクタンスは大きく変化し、この場合、該しきい値電圧値を超える電圧値のさらなる各増分によってコンダクタンスの非線形的な増加が生じる。本発明の実施形態では、種々のタイプの各信号内の電圧パルスは、ニューロモーフィック回路内のメムリスティブシナプスのしきい値電圧値より低く維持されており、これによって、後述するように、シナプスのコンダクタンスは、所定の非常に特殊な環境の下で、前方へ伝搬する信号と後方へ伝搬する信号の組み合わせが、しきい値電圧より大きな電圧（以下、超しきい値電圧という）を生成するときのみ変化するようになっている。] 図２１Ａ 図２１Ｂ 図２２Ａ 図２２Ｂ
[0058] 図２１Ａに示す連続的電圧減衰関数が、連続電圧信号としてシナプスに適用される場合には、シナプスのコンダクタンスの全変化量は、次のように近似できることに留意されたい。




ここで、Ａは、比較的大きな値の定数であり、しきい値電圧値を超えて印加された電圧降下で生じる大きなコンダクタンスの変化を反映している。Ｂは、非常に小さな値の定数であり、しきい値電圧値を下回って印加された電圧降下で生じるわずかなコンダクタンスの変化を反映している。tｌは、電圧f(t)がしきい値電圧に等しいときの時刻である。] 図２１Ａ
[0059] これによれば、




が大きな数値を有するときに、コンダクタンスが大きく変化する。これとは対照的に、図２２Ｂに示す離散表現された関数が電圧信号としてシナプスに印加される場合には、




によって近似される、非常に小さなコンダクタンスの変化が生じるのみであろう。ここで、pwm（f(tｉ)）は、時刻tｉにおける電圧値のパルス幅変調ベースの表現の持続時間である。これは、連続信号を印加することによって生じる場合に比べて非常に小さなコンダクタンスの変化を生じるであろう。後述するように、本発明のいくつかの実施形態では、正電圧パルスの各々には、学習を実施するために使用される信号の多くにおいて、同じ持続時間の同じ大きさの負電圧パルスが付随し、このため、２つの信号が結合してしきい値を超える電圧降下（以下、超しきい値電圧降下という）をシナプスに生じるときには、特殊な場合を除いて、コンダクタンスの変化はシナプスにはほとんど生じない。] 図２２Ｂ
[0060] 図２３は、本発明の１実施形態を表すニューロモーフィック回路内のニューロンの記号表現を示し、該ニューロンは、他のニューロンによる信号送信と同期（または同調）して、メムリスティブシナプスを介して信号を送信することができる。出力２３０２、興奮性入力２３０４、及び抑制性入力２３０６に加えて、ニューロンは、クロック入力２３０８、正の定電圧Ｖ＋入力２３１０、及び、負の定電圧入力Ｖ−２３１２をさらに有する。本発明の１実施形態では、ニューロンによって生成されて送信される全ての信号は、仮想接地電圧であるＶ＝０を基準として、Ｖ＋またはＶ−電圧のパルスを含む。Ｖ＋入力２３１０及びＶ−入力２３１２は、ニューロン内部の回路に電圧を提供する。クロック入力２３０８は、一般に一定時間間隔またはチック（tick）で発生する一連の電圧スパイクからなるタイミング信号をニューロモーフィック回路内の全てのニューロンに提供して、それらのニューロンが互いに信号送信を同期できるようにする。] 図２３
[0061] 図２４は、本発明の実施形態にしたがう基本的な信号同期モデルを示す。図２４において、横軸２４０２は、共通の取り決め事として右に向かって進行する時間を表す。時間は、フレームと呼ばれる一定間隔に分割され、各フレームはさらにスロットに分割される。図２４では、フレーム境界を表す時間ポイント２４０４−２４０７は、それぞれ、「ｆ０」、「ｆ１」、「ｆ２」、及び「ｆ３」でラベル付けされている。したがって、フレームｆ０は、時間ポイントｆ０２４０４からｆ１ ２４０５に及ぶ時間期間２４１０を指す。フレームｆ０は、各々が、同じサイズの５つのタイムスロットｓ０、ｓ１、ｓ２、ｓ３、及びｓ４に分割され、時間ポイントｆ０２４０４、ｓ１ ２４１２、ｓ２ ２４１３、ｓ３ ２４１４、ｓ４ ２４１５、及びｆ１２４０５に対応する境界を有する。図２４中のフレームの拡大表現２４２０によって示されているように、これらの５つのタイムスロットは、「ＣＯＭＭ」、「ＬＴＰ＋」、「ＬＴＰ−」、「ＬＴＤ＋」、及び「ＬＴＤ−」スロットと呼ばれる。ＣＯＭＭスロットは、ニューロンスパイク及び他の任意のニューロン出力を送るために使用される。ＬＴＰ＋及びＬＴＰ−スロットは、１つのニューロンの出力から１つ以上のニューロンの入力へと長時間増強信号を送るために利用され、各ＬＴＰ＋／ＬＴＰ−における電圧パルスは持続時間及び大きさが同じで符号が逆である。ＬＴＤ＋及びＬＴＤ−スロットは、１つのニューロンの入力端子から他のニューロンの出力端子へと長時間抑圧信号を送るために使用され、各ＬＴＤ＋／ＬＴＤ−の対における電圧パルスもまた持続時間及び大きさが同じで符号が逆である。上述したように、２つ１組で符号が逆の電圧信号を送ることにより、同じ持続時間及び同じ大きさで符号が逆のパルスの対によって生成されたコンダクタンスの変化を相殺することによって、該対の１つだけのパルスの送信から生じるであろうしきい値を下回るわずかなコンダクタンスの変化でさえ回避される。したがって、図２４に示すように、本発明の１実施形態を表すクロックベースの同期式ニューロモーフィック回路における信号送信は、一定時間間隔で繰り返すフレームにおいて生じ、各フレームはスロットに分割されており、各スロットは、異なるタイプの信号の送信を可能にする。フレーム及びスロットの境界は、１タイムスロット及び１フレームあたり一定数存在するクロックチック（クロックの刻み）と符合する（または同時に生じる）。] 図２４
[0062] 図２５Ａ及び図２５Ｂは、２つの異なる指数関数的減衰関数のパルス幅変調表現を示す。図２５Ａに示す第１の指数関数的減衰関数であるＬＴＰ関数は、ＬＴＰ＋及びＬＴＰ−信号の生成及び送信の基礎として使用される。この指数関数的減衰関数のサンプリング（または標本）及び対応するパルス幅が、該関数の右側の表２５０４に示されている。同様に、図２５Ｂは、ＬＴＤ＋及びＬＴＤ−信号の生成の基礎として使用される第２の指数関数的減衰関数ＬＴＤ２５０６を示す。この関数を表す種々のサンプル時刻で送信されるパルス幅が、該関数の右側の表２５０８に示されている。表２５０４及び２５０８は、一連の連続するフレームの各々に含まれているＬＴＤ及びＬＤＰ信号の各々のパルス幅を示しており、これらのフレームにおいてそれらの信号が送信されることに留意されたい。ＬＴＰ関数は、ＳＴＤＰ学習モデルの長時間増強側面にしたがってメムリスティブシナプスのコンダクタンスを変化させるために使用されるＬＴＰ信号の基礎として使用され、ＬＴＤ関数は、ＳＴＤＰ学習モデルにしたがうメムリスティブシナプスの長時間抑圧を達成するＬＴＤ信号の基礎として使用される。しかしながら、本発明の方法にしたがって、異なる関数及び対応するパルス幅変調値表を用いて、種々の異なる任意の学習モデルを実施することができる。ＬＴＰ関数は、ＬＴＤ関数よりも幾分速く減衰する、換言すれば、ＬＴＤ関数よりも小さな時定数を有することに留意されたい。ＬＴＰ関数とＬＴＤ関数の違いは、前のサブセクションで説明したように、図５に示すグラフの左側と右側との違いに対応する。] 図２５Ａ 図２５Ｂ 図５
[0063] 図２６は、本発明の実施形態にしたがうニューロモーフィック回路内の２つのニューロン、及び、それらのニューロンの出力及び入力に付された英数字のラベルを示す。第１のニューロン２６０２であるＶ１は、以下の説明では「前」ニューロンと呼ばれ、第２のニューロン２６０４であるＶ２は「後」ニューロンと呼ばれる。メムリスティブシナプス２６０６は、ニューロンＶ１の出力をニューロンＶ２の興奮性入力に結合する。本発明の説明された実施形態は、定電圧パルス信号を使用する。２つのニューロンの出力及び入力端子における任意の所与の時点における電圧は、図２６に示す文字列で参照される。興奮性入力電圧は「ｅ」という文字で終わり、抑制性入力は「ｉ」という文字で終わり、出力端子電圧は小文字の「ｏ」で終わる。これらのネーミングの取り決め事は、本発明の１実施形態にしたがうニューロモーフィック回路中のニューロンによって生成されて送信される信号の形態を示すために、図２７Ａ−図２７Ｆで使用される。] 図２６ 図２７Ａ 図２７Ｆ
[0064] 図２７Ａ−図２７Ｆは、本発明の実施形態にしたがうニューロモーフィック回路中のニューロンによって生成されて送信される定電圧パルス信号を示す。図２７Ａ−図２７Ｆは全て、同じ図表記上の取り決め事を使用している。各図面の一番下には、最初（または第１）のフレーム２７０２から始まる一連の連続するフレームの表現と、それらのフレームのうちのあるフレーム内のスロットが示されている。図２６に示すニューロモーフィック回路の一部中の３つの異なるポイントの各々における電圧または電圧信号が、３つの整列されたグラフ２７０４−２７０６において横方向にプロットされて示されている。それらのグラフは、各頁の一番下にある連続するフレームの表現とも整列されている。] 図２６ 図２７Ａ 図２７Ｆ
[0065] 図２７Ａは、スパイキングニューロン（スパイク発火したニューロン）によって生成された信号を示す。ニューロンの出力において生成された信号はグラフ２７０４にプロットされており、該ニューロンの興奮性入力及び抑制性入力において生成された信号はグラフ２７０５及び２７０６に示されている。本発明の説明された実施形態では、入力信号と組み合わせて、ある時点において、メムリスティブシナプス（の両端）に超しきい値電圧降下を生成して、ＳＴＤＰモデルなどの学習モデルにしたがう学習を達成するために、後方に伝搬する電圧信号と等価な物が入力信号線に出力されるということに留意されたい。スパイク２７０８の発生より前の、図２７Ａに示す４番目のフレーム（第４のフレーム）２７１０の開始時には、ニューロンによって出力された信号は、平坦、換言すれば、一定の仮想ゼロ電圧信号２７１２−２７１４である。スパイクはフレーム境界と整列している。したがって、フレーム２７１０の左側の境界より幾分先行する時点において、ニューロンＶ１内の内部処理回路は、４番目の２７１０及び後続のフレームにおいてスパイクを発すべきことを決定した。] 図２７Ａ
[0066] ４番目のフレーム２７１０のＣＯＭＭスロット２７１６において、スパイキングニューロンＶ１は、該スロットにわたって正電圧パルス２７１８を出力する。これは、任意の下流側の受信ニューロンがその後いつスパイクを発すべきかを少なくとも部分的にそれら自身で決定するために利用できるスパイク信号である。４番目のフレームのＬＴＰ＋及びＬＴＰ−タイムスロット２７２０−２７２１において、ニューロンは、図２５Ａ中の表２５０４の最初のエントリに示されているＰＷＭ値に等しい幅または持続時間を有する符号が逆の電圧パルスを出力する。正のパルス２７２３はＬＴＰ＋スロット２７２０において送信され、対応する負パルス２７２４はＬＴＰ−スロット２７２１において放出される。ＬＴＤ＋及びＬＴＤ−スロット２７２５−２７２６において、スパイキングニューロンは、各々の入力端子において、持続時間または幅が図２５Ｂ中の表２５０８の最初のエントリに示されている幅に等しい正電圧パルス２７２７及び負電圧パルス２７２８をそれぞれ放出する。後述するように、前方に伝搬するＬＴＰ信号は、後方に伝搬するＬＤＰ信号と結合して、メムリスティブシナプス（の両端）に超しきい値電圧降下を生じさせ、これによって、ＳＴＤＰ学習モデルにしたがってシナプスのコンダクタンスを変化させることができる。] 図２５Ａ 図２５Ｂ
[0067] 次の５番目のフレーム（第５のフレーム）２７２９において、ニューロンＶ１は、図２５Ａ中の表２５０４の２番目のエントリに示されているパルス幅に等しいパラス幅を有するＬＴＰ＋２７３０とＬＴＰ−２７３２のパルス対を、ＬＴＰ＋タイムスロット２７３３及びＬＴＰ−タイムスロット２７３４において出力し、正のＬＴＤ＋２７３５及び負のＬＴＤ−２７３６信号２７３５−２７４８を、５番目のフレーム２７２９のＬＴＤ＋及びＬＴＤ−タイムスロット２７３８及び２７３９において入力端子へと放出する。後続のフレーム２７４０及び２７４２において、ＬＴＰ＋とＬＴＰ−信号対２７４４及び２７４６は、ＬＴＰ＋及びＬＴＰ−タイムスロット２７４８及び２７４９において出力され（それらの信号の幅は、図２５Ａ中の表２５０４の３番目と４番目のエントリにしたがって減少している）、ＬＴＤ＋とＬＴＤ−信号対２７５０及び２７５２は、ＬＴＤ＋及びＬＴＤ−タイムスロット２７５４及び２７５６において入力端子へと放出される（それらのパルス幅は、図２５Ｂ中の表２５０８の３番目と４番目のエントリにしたがって減少している）。このように、スパイキングニューロンは、ＬＴＰ＋／ＬＴＰ−及びＬＴＤ＋／ＬＴＤ−の最大値信号と共に、１番目のフレームにおいてスパイクと同時に単一のスパイクパルス２７１８を放出し、その後、後続のフレームにおいて、ＬＴＰ及びＬＴＤ関数が、表２５０４及び２５０８の０エントリで表されている完全な減衰状態に至るまでパルス幅を減少させながら、後続のクレームの各々でもってＬＴＰ＋／ＬＴＰ−の出力とＬＴＤ＋／ＬＴＤ−信号の放出を継続する。] 図２５Ａ 図２５Ｂ
[0068] 図２７Ｂ−図２７Ｆは、図２７Ａを参照して説明した信号に基づくＳＴＤＰ学習を示す。図２７Ｂ−図２７Ｆの各々において、後ニューロンＶ２ｅの入力端子への信号出力、前ニューロンＶ１ｏの出力端子への信号出力、及び、２つのニューロン（図２６の２６０６）を接続しているメムリスティブシナプス（の両端）における電圧降下が、それぞれの図面において第１、第２、第３の信号プロットとして示されている。] 図２６ 図２７Ａ 図２７Ｂ 図２７Ｆ
[0069] 図２７Ｂは、同じフレーム中の、後ニューロンＶ２の興奮性入力における電圧、前ニューロンＶ１の出力における電圧、及び、後ニューロンと前ニューロンの両方が同時にスパイクを発したときの（それらを）接続しているメムリスティブシナプス（の両端）における電圧降下を示している。メムリスティブシナプス（の両端）における電圧は、図１９Ｂ及び図１９Ｃを参照して説明した電圧に関する取り決め事にしたがって、各時間ポイントにおいて、電圧Ｖ１ｏ−Ｖ２ｅに等しい。メムリスティブシナプス（の両端）における超しきい値電圧降下は、図２７Ｂにおいて、２７６０及び２７６２などのクロスハッチングで示されている。しきい値電圧の大きさは、破線２７６３で示されている。両方のニューロンが同時に、または、単一のフレーム２７６４内でスパイクを発するときには、前ニューロンが１番目のフレームのＬＴＰ＋タイムスロットにおいて最大値のＬＴＰ＋信号２７６６を出力しており、後ニューロンがそれと同じタイムスロットにおいて最大値の負パルス２７６８を出力しているときに超しきい値電圧が発生する。同様に、ＬＴＤ＋タイムスロットにおいて、前ニューロンが最大値のＬＴＤ−信号２７７０を送信し、前ニューロンが最大値の正のＬＴＤ＋信号２７７２を送信するときに超しきい値電圧２７６２が発生する。同時スパイキングの場合には、他の超しきい値電圧降下は生じず、また、正の超しきい値電圧降下２７６０と負の超しきい値電圧降下２７６２とは完全に相殺しあうので、同時スパイキングのために、メムリスティブシナプス２６０６のコンダクタンスは本質的に変化しない。] 図１９Ｂ 図１９Ｃ 図２７Ｂ
[0070] 図２７Ｃは、前ニューロンが１番目のフレーム２７７４でスパイクを発し（スパイクを発することをスパイキングという）、後ニューロンが２番目のフレーム２７７６でスパイクを発する場合を示す。この場合には、単一の正の超しきい値電圧２７７８が、２番目のフレームのＬＴＰ＋タイムスロットにおいて生成されて、メムリスティブシナプスにおけるコンダクタンスを増加させ、それゆえ、ＳＴＤＰモデルにしたがう積極的なＬＴＰ学習をもたらす。図２７Ｄに示すように、１番目のフレーム２７８４における前ニューロンのスパイキングに続いて後ニューロンが３番目のフレーム２７８２においてスパイキングをすると、単一の幾分より小さな超しきい値電圧２７８６が、３番目のフレームのＬＴＰ＋タイムスロット中に生成されて、２つのニューロンを結合するメムリスティブシナプスのコンダクタンスをより小さく増加させる。ＳＴＤＰモデルにしたがって、コンダクタンスの増加は、後ニューロンのスパイキングが、前ニューロンのスパイキングよりさらなるフレームだけ遅れるにつれて指数関数的に減少する。ＬＴＰ及びＬＴＤ関数が完全に減衰すると、もはや導電率は変化しない。] 図２７Ｃ 図２７Ｄ
[0071] 図２７Ｅは、後ニューロンが１番目のフレーム２７９０でスパイクを発し、前ニューロンが２番目のフレーム２７９２でスパイクを発する場合を示す。これは、後ニューロンが前ニューロンのスパイキングの前にスパイクを発するという、ニューロン発火すなわちスパイキングの順序が通常と異なる場合である。この場合には、単一の超しきい値電圧２７９４が２番目のフレームで発生して、ＳＴＤＰモデルにしたがうＬＴＤについて予測されるように、コンダクタンスの減少をもたらす。図２７Ｆに示すように、後ニューロンが１番目のフレーム２７９５でスパイクを発し、前ニューロンが３番目のフレーム２７９６でスパイクを発する場合には、メムリスティブシナプス（の両端）における負の超しきい値電圧２７９８の持続時間は、図２７Ｅに示すように、後ニューロンがスパイクを発したフレームの直後のフレームにおいて前ニューロンがスパイクを発する場合の持続時間よりも短い。したがって、ＳＴＤＰ学習モデルのＬＴＤ特性にしたがって、スパイキングの順序が通常と異なるときにはシナプスのコンダクタンスは減少し、それらのスパイクがますます時間的に離れるにしたがい、コンダクタンスの減少の大きさは指数関数的に小さくなる。] 図２７Ｅ 図２７Ｆ
[0072] 図２８Ａ−図２９Ｅは、本発明の実施形態にしたがう、図２７Ａ−図２７Ｆに示す同期信号を生成するニューロモーフィック回路−ニューロン信号処理論理回路の１実施例を示す。図２８Ａ−図２９Ｅはすべて、図２８Ａを参照して次に説明する図表記上の同じ取り決め事を使用する。このニューロンの実施例は、クロック入力信号線２８０２、興奮性入力信号線２８０４、抑制性入力信号線２８０６、正の定電圧入力２８０８、負の定電圧入力２８０９、及び、出力信号線２８１０を有する。クロック入力は、４つの時分割多重逆多重デマルチプレクサ（「ＴＤＤＤＥＭＵＸ」）２８１２−２８１４、及び、１つの時分割多重マルチプレクサ（「ＴＤＭＭＵＸ」）２８１５を制御する。図２１Ａ−図２２Ｂを参照して上述したように、２つのパルス幅変調ユニット２８１６及び２８１７（「ＰＷＭユニット」）は、入力連続電圧信号を対応する定電圧パルスに変換する。図２８Ａ−図２９Ｅには示されていないが、ＰＷＭユニットは、入力クロック信号によって直接に、または、ニューロンプロセッサによって間接的に制御されて、適宜のタイミングで定電圧ＰＷＭパルスを出力する。ニューロン処理回路２８２０は、興奮性入力２８２２及び抑制性入力２８２４、クロック入力２８２６、及び正電圧入力２８２８を受信して、スパイク発生器２８３２によって生成されたスパイク信号２８３０及び２８３１を出力する。コンデンサＣ２２８３４と抵抗器Ｒ２ ２８３６は結合して、ＬＴＰ指数関数的減衰関数を特徴付ける時定数τ２を生じ、コンデンサＣ１２８３８と抵抗器Ｒ１２８４０は結合して、ＬＴＤ指数関数的減衰関数を特徴付ける時定数τ１を生じる。] 図２１Ａ 図２２Ｂ 図２７Ａ 図２７Ｆ 図２８Ａ 図２９Ｅ
[0073] 図２８Ａ−図２８Ｅの各々は、スパイキングニューロンの１番目のフレームの連続するタイムスロットの各々に対応する。したがって、図２８Ａ−図２８Ｅは、スパイキングニューロンの１番目のフレーム（図２７Ａの２７１０）に対応する図２７Ａに示す電圧信号の生成を示している。タイムスロット０、すなわち、ＣＯＭＭタイムスロットにおいて、ニューロンプロセッサのスパイク発生器２８３２によって発生されたスパイク信号は、図２８Ａ−図２８Ｅに示す４つのスイッチ２８４２−２８４５を閉じ、これらのスイッチは、１番目のフレームの間中閉じた状態とされる。クロック信号は、ＴＤＤＤＥＭＵＸの各々に入力して、スロット０の出力をＴＤＭＭＵＸに入力させる。スイッチ２８４２はスパイク信号によって閉じられているので、ＴＤＭ ＭＵＸ ２８１５のタイムスロット０入力２８４８へのＶ＋電圧入力は、出力信号線２８１０へと通過し、それゆえ、該出力信号線は電圧値Ｖ＋２８５０を有する。スイッチ２８４３と２８４５は閉じているので、コンデンサＣ１及びＣ２は、１番目のフレームの間に全容量まで充電される。ＴＤＤＤＥＭＵＸ ２８１３のタイムスロット０入力２８５２に接続された信号はなく、それゆえ、興奮性入力２８０４または抑制性入力２８０６には信号は出力されない。] 図２７Ａ 図２８Ａ 図２８Ｅ
[0074] 図２８Ｂに示すように、クロック入力２８５４が、１番目のフレームの２番目のタイムスロットすなわちＬＴＰ＋タイムスロットの開始を示しているときには、正のＬＴＰ＋信号がＰＷＭユニット２８１７から出力される。この信号の持続時間は、電圧




に対応するＰＷＭ値に概ね等しいが、１番目のフレームではｔは０であるので、出力信号は最大の持続時間を有する。Ｖ−は、スイッチ２８４４を通って抑制性端子及び興奮性端子の両方に出力される。] 図２８Ｂ
[0075] １番目のフレームの３番目のタイムスロットにおいて、図２８Ｃに示すように、負電圧パルスが、ＰＷＭユニット２８１７から出力される。この信号の持続時間は、電圧




から計算されたＰＷＭ値に対応する持続時間に概ね等しいが、１番目のフレームではｔ＝０であるので、持続時間は最大である。興奮性入力及び抑制性入力はＴＤＤＤＥＭＵＸ ２８１３を介してグランド（アース）に接続される。１番目のフレームの４番目のタイムスロットでは、Ｖ＋定電圧は反転されて、ＴＤＤＭＵＸ ２８１５を介して出力端子に出力される。正のＬＴＤ＋信号は、電圧




に対応するＰＷＭ値に概ね等しい持続時間を有するが、１番目のフレームにおいて最大の持続時間を有しており、ＴＤＤ ＤＥＭＵＸ２８１３を介して抑制性入力端子と興奮性入力端子の両方に出力される。最後に、１番目のフレームの５番目のタイムスロットでは、出力端子は、ＴＤＭＭＵＸ ２８１５によってグランド（アース）に接続される。負のＬＴＤ−パルスは、電圧




に対応するＰＷＭ値に概ね等しい持続時間を有するが、１番目のフレームにおいて最大の持続時間を有しており、ＴＤＤ ＤＥＭＵＸ２８１３を介して興奮性入力端子及び抑制性入力端子に出力される。このように、図２８Ａ−図２８Ｅ及び図２７Ａを検討すると、ニューロンスパイクの１番目のフレーム中にニューロンの端子に生じる電圧パルスの各々が、図２８Ａ−図２８Ｅに示す実施例によってどのように生成されるかが容易に理解される。] 図２７Ａ 図２８Ａ 図２８Ｃ 図２８Ｅ
[0076] 図２９Ａ−図２９Ｅは、本発明の１実施形態を表す実施例によるスパイクが出力されないフレーム中の端子電圧の生成を示す。図２９Ａに示すように、スパイク信号線２８３０−２８３１上にスパイク信号が存在しないためにスイッチ２８４２−２８４５は開いている。これらのスイッチは、スパイクが出力されない全てのフレームにおいて開いたままである。スイッチ２８４３及び２８４５が開いているときは、コンデンサＣ２及びＣ１が時間とともに放電して、上述したように、ＬＴＰ及びＬＴＤ指数関数的減衰関数を生じる。フレーム２７１０に続く図２７Ａの各フレームにおいて、類似の電圧信号が各端子に示されており、ＬＴＰ＋／ＬＴＰ−及びＬＴＤ＋／ＬＴＤ−信号のパルス幅は後続するフレームにおいて狭くなっている。もちろん、ＬＴＰ及びＬＴＤ関数が減衰しているとき、または、コンデンサＣ１及びＣ２が完全に放電しているときで、さらなるスパイキングが生じないときには、仮想接地である０Ｖ電圧だけが全てのニューロン端子に出力される。また、図２８Ａに示す実施例から明らかなように、以前のスパイクのＬＴＰ及びＬＴＤ関数が完全に減衰する前にニューロンがスパイクするときは、ＬＴＰ及びＬＴＤ関数は、直近のスパイクによってリセットされて、コンデンサＣ１及びＣ２の充電によってそれらの最大値に設定される。] 図２７Ａ 図２８Ａ 図２９Ａ 図２９Ｅ
[0077] 最後に、図３０は、本発明の実施形態にしたがう、ニューロンに入力信号を接続するために使用できる仮想接地回路の１つの可能性のある実施例を示す。仮想接地実施例は、加算増幅器３００２を使用して全ての入力電流を合計し、その合計を出力電圧３００４に変換する。] 図３０
[0078] 特定の実施形態に関して本発明を説明したが、本発明をそれらの実施形態に限定することは意図されていない。本発明の思想の範囲内の変更が当業者には明らかであろう。たとえば、ニューロンを、１つ以上の抑制性入力及び／または１つ以上の興奮性入力から受信した入力に基づいて、同期信号を生成して複数の出力に送信するように実施することができる。上記実施例ではＳＴＤＰモデルについて説明したが、各ニューロンの出力端子及び入力端子で生成されて発生する信号を変更することによって種々の任意の異なる学習モデルを実施することができる。本発明の好適な実施形態にしたがって５タイムスロットのフレームが使用されたが、１フレームあたりで使用するスロットの数をこれより少なくしても多くしてもよい。たとえば、正及び負のスパイク電圧を、ＣＯＭＭ＋及びＣＯＭＭタイムスロットにおいて出力して、望ましくないシナプスコンダクタンスの変化をさらに小さくすることができる。実施例は、電圧信号と電流信号の両方、または、電圧信号、または、電流信号を使用することができる。ほとんど無限個の異なるニューロン処理回路実施例を使用することができる。図２８Ａ−図２９Ｅにおいて、ニューロンの信号生成及び信号送信部分の例示的な回路実施例を示したが、異なるコンポーネント（部品）、相互接続、及び構造化を用いることによって多くの他の実施例が可能である。上述の実施形態は、ニューロモーフィック回路の内部ニューロンに焦点を当てたが、それらの実施形態は、上流側のニューロンから信号を受信し、下流側のニューロンに信号を送信するものである。ニューロモーフィック回路は、しばしば、外部入力から信号を受信し、及び、外部出力に信号を送信するインターフェースニューロンを含む。いくつかの実施形態では、インターフェースニューロンは、外部入力を受信し及び外部出力へ出力するためにフレームベースの同期化を利用せずに、ニューロモーフィック回路の外部のデバイスの回路内で使用される別の決まり事に従う場合がある。] 図２８Ａ 図２９Ｅ
[0079] 上記では、本発明を十分に理解できるようにするために、説明を目的として特定の用語を使用した。しかしながら、本発明を実施するために特定の細部は必要ではないことが当業者には明らかであろう。本発明の特定の実施形態に関する上記説明は、例示及び説明のために提示されたものである。それらは、本発明を網羅することも本発明を開示した形態そのものに限定することも意図していない。上記の教示に照らして多くの修正及び変形が可能である。それらの実施形態は、本発明の原理及びその実用的応用を最も良く説明し、これによって、当業者が、意図する特定の用途に適するように種々の変更を加えつつ本発明及び種々の実施形態を最良に利用できるようにするために図示し及び説明された。本発明の範囲は、添付の特許請求の範囲及びその等価物によって画定されることが意図されている。]

权利要求:

請求項1
２つ以上の内部ニューロン計算ユニットとメムリスティブシナプスを有するニューロモーフィック回路であって、内部ニューロン計算ユニットの各々は、同期信号を受信するための同期信号入力と、入力信号を受信するための少なくとも１つの入力と、出力信号を送信するための少なくとも１つの出力を有し、メムリスティブシナプスの各々は、第１の組をなす１つ以上の内部ニューロンからの出力信号を伝送する出力信号線を、第２の組をなす１つ以上の内部ニューロンに信号を伝送する入力信号線に相互接続する、ニューロモーフィック回路。
請求項2
内部ニューロンの各々は、前記同期信号を利用して時間をフレームに分割し、各フレームは、２つ以上のタイムスロットから構成される、請求項１のニューロモーフィック回路。
請求項3
各フレームの各タイムスロット中に、内部ニューロンの各々は、該タイムスロットに関連する特定のタイプの信号を送信及び／または受信することができる、請求項２のニューロモーフィック回路。
請求項4
各フレームの各タイムスロット中に内部ニューロンによって送信される信号は、他の信号と結合することなく、任意のメムリスティブシナプスに関してしきい値信号強度値以下になるサブしきい値信号であり、該信号は該メムリスティブシナプスを通ることからなる、請求項３のニューロモーフィック回路。
請求項5
各フレームが、ＣＯＭＭタイムスロットと、ＬＴＰ＋タイムスロットと、ＬＴＰ−タイムスロットと、ＬＴＤ＋タイムスロットと、ＬＴＤ−タイムスロットを有する、請求項４のニューロモーフィック回路。
請求項6
ＣＯＭＭタイムスロット中に、内部ニューロンは、下流側の１つ以上のニューロンに出力信号を送信することができ、ＬＴＰ＋タイムスロット中に、前記内部ニューロンは、ＬＴＰ＋／ＬＴＰ−信号対の正のＬＴＰ＋信号を送信することができ、ＬＴＰ−タイムスロット中に、前記内部ニューロンは、ＬＴＰ＋／ＬＴＰ−信号対の負のＬＴＰ−信号を送信し、ＬＴＤ＋タイムスロット中に、前記内部ニューロンは、ＬＴＤ＋／ＬＴＤ−信号対の正のＬＴＤ＋信号を送信することができ、ＬＴＤ−タイムスロット中に、前記内部ニューロンは、ＬＴＤ＋／ＬＴＤ−信号対の負のＬＴＤ−信号を送信する、請求項５のニューロモーフィック回路。
請求項7
スパイキングと同時に生じる第１のフレーム中に、スパイキング内部ニューロンは、前記ＣＯＭＭタイムスロット中にスパイク信号を１つ以上の出力に送信し、前記ＬＴＰ＋タイムスロット中に最大のＬＴＰ＋信号を１つ以上の出力に送信し、前記ＬＴＰ−タイムスロット中に最大のＬＴＰ−信号を１つ以上の出力に送信し、前記ＬＴＤ＋タイムスロット中に最大のＬＴＤ−信号を１つ以上の出力に送信し、前記ＬＴＰ＋タイムスロット中に最大のＬＴＰ−信号を１つ以上の入力に送信し、前記ＬＴＤ＋タイムスロット中に最大のＬＴＤ＋信号を１つ以上の入力に送信し、前記ＬＴＤ−タイムスロット中に最大のＬＴＤ−信号を１つ以上の入力に送信する、請求項６のニューロモーフィック回路。
請求項8
スパイキングに続く各フレーム中に、非スパイキング内部ニューロンは、前記ＬＴＰ＋タイムスロット中に、スパイキング時の最大値から指数関数的に減衰するＬＴＰ関数の現在値を表す大きさのＬＴＰ＋信号を１つ以上の出力に送信し、前記ＬＴＰ−タイムスロット中に、スパイキング時の最大値から指数関数的に減衰するＬＴＰ関数の現在値を表す大きさのＬＴＰ−信号を１つ以上の出力に送信し、前記ＬＴＤ＋タイムスロット中に、スパイキング時の最大値から指数関数的に減衰するＬＴＰ関数の現在値を表す大きさのＬＴＤ＋信号を１つ以上の入力に送信し、前記ＬＴＤ−タイムスロット中に、スパイキング時の最大値から指数関数的に減衰するＬＴＰ関数の現在値を表す大きさのＬＴＤ−信号を１つ以上の入力に送信する、請求項６のニューロモーフィック回路。
請求項9
メムリスティブシナプスを介して第２の内部ニューロンの入力に接続された出力を有する第１の内部ニューロンが、第１のフレームにおいてスパイクを発し、前記第２の内部ニューロンが、前記第１のフレームに続く第２のフレームにおいてスパイクを発するときで、前記第１の内部ニューロンのＬＴＰ関数がまだ０値に減衰していないときは、前記ＬＴＰ＋タイムスロット中に前記第１の内部ニューロンによって送信されたＬＴＰ＋信号は、前記ＬＴＰ＋タイムスロット中に前記第２の内部ニューロンによって該第２の内部ニューロンの１つ以上の入力へと送信された最大のＬＴＰ−信号と結合して、前記メムリスティブシナプスに関してしきい値信号強度を上回る正の超しきい値信号を生成する、請求項６のニューロモーフィック回路。
請求項10
メムリスティブシナプスを介して第２の内部ニューロンの入力に接続された出力を有する第１の内部ニューロンが、第２のフレームにおいてスパイクを発し、前記第２の内部ニューロンが、前記第１のフレームに先行する第１のフレームにおいてスパイクを発するときで、前記第２の内部ニューロンのＬＤＰ関数がまだ０値に減衰していないときは、前記ＬＤＴ＋タイムスロット中に前記第１の内部ニューロンによって１つ以上の出力へと送信されたＬＴＤ−信号は、前記ＬＴＰ＋タイムスロット中に前記第２の内部ニューロンによって該第２の内部ニューロンの１つ以上の入力へと送信されたＬＴＤ＋信号と結合して、前記メムリスティブシナプスを負方向へと促進する、しきい値信号強度を下回る負の超しきい値信号を生成する、請求項６のニューロモーフィック回路。
請求項11
前記メムリスティブシナプスは、正の超しきい値電圧が印加された結果として非線形の正のコンダクタンスの変化を呈し、負の超しきい値電圧が印加された結果として非線形の負のコンダクタンスの変化を呈し、及び、しきい値電圧値を下回る値の電圧が印加された結果として非常に小さなコンダクタンスの変化を呈する、請求項１のニューロモーフィック回路。
請求項12
内部ニューロンは、出力及び入力において電圧信号を放出し、入力において電流信号を受信して、受信した電流信号を仮想接地回路によって内部電圧信号に変換する、請求項１のニューロモーフィック回路。
請求項13
ニューロモーフィック回路において学習を行うための方法であって、２つ以上の内部ニューロン計算ユニットとメムリスティブシナプスとを有するニューロモーフィック回路を提供するステップであって、各内部ニューロン計算ユニットは、同期信号を受信するための同期信号入力と、入力信号を受信するための少なくとも１つの入力と、出力信号を送信するための少なくとも１つの出力を有し、該メムリスティブシナプスの各々は、第１の組をなす１つ以上の内部ニューロンからの出力信号を伝送する出力信号線を、第２の組をなす１つ以上の内部ニューロンに信号を伝送する入力信号線に相互接続することからなる、ステップと、前記ニューロモーフィック回路内の内部ニューロンによって、任意のメムリスティブシナプスに関してしきい値信号強度値以下の信号を送信するステップであって、該信号は該メムリスティブシナプスを通り、該信号は、メムリスティブシナプスを介して結合された内部ニューロンが両方とも指数関数的減衰関数の減衰時間内で発火する状況では、前記メムリスティブシナプスに関するしきい値信号強度値より値が大きな部分を有する信号を生成するために結合して、学習モデルにしたがって該メムリスティブシナプスのコンダクタンスを変化させることからなる、ステップを含む方法。
請求項14
各内部ニューロンは、前記同期信号を利用して時間をフレームに分割し、各フレームは２つ以上のタイムスロットから構成され、各フレームの各タイムスロット中に、各内部ニューロンは、該タイムスロットに関連する特定のタイプの信号を送信及び／または受信することができる、請求項１３の方法。
請求項15
各フレームは、ＣＯＭＭタイムスロットと、ＬＴＰ＋タイムスロットと、ＬＴＰ−タイムスロットと、ＬＴＤ＋タイムスロットと、ＬＴＤ−タイムスロットを有し、前記ＣＯＭＭタイムスロット中に、内部ニューロンは、１つ以上の下流側のニューロンに出力信号を送信することができ、前記ＬＴＰ＋タイムスロット中に、前記内部ニューロンは、ＬＴＰ＋／ＬＴＰ−信号対の正のＬＴＰ＋信号を送信することができ、前記ＬＴＰ−タイムスロット中に、前記内部ニューロンは、ＬＴＰ＋／ＬＴＰ−信号対の負のＬＴＰ−信号を送信し、前記ＬＴＤ＋タイムスロット中に、前記内部ニューロンは、ＬＴＤ＋／ＬＴＤ−信号対の正のＬＴＤ＋信号を送信することができ、前記ＬＴＤ−タイムスロット中に、前記内部ニューロンは、ＬＴＤ＋／ＬＴＤ−信号対の負のＬＴＤ−信号を送信し、スパイキングと同時に生じる第１のフレーム中に、内部ニューロンは、前記ＣＯＭＭタイムスロット中にスパイク信号を１つ以上の出力に送信し、前記ＬＴＰ＋タイムスロット中に最大のＬＴＰ＋信号を１つ以上の出力に送信し、前記ＬＴＰ−タイムスロット中に最大のＬＴＰ−信号を１つ以上の出力に送信し、前記ＬＴＤ＋タイムスロット中に最大のＬＴＤ−信号を１つ以上の出力に送信し、前記ＬＴＰ＋タイムスロット中に最大のＬＴＰ−信号を１つ以上の入力に送信し、前記ＬＴＤ＋タイムスロット中に最大のＬＴＤ＋信号を１つ以上の入力に送信し、前記ＬＴＤ−タイムスロット中に最大のＬＴＤ−信号を１つ以上の入力に送信し、スパイキングに続く各フレーム中に、非スパイキングニューロンは、前記ＬＴＰ＋タイムスロット中に、スパイキング時の最大値から指数関数的に減衰するＬＴＰ関数の現在値を表す大きさのＬＴＰ＋信号を１つ以上の出力に送信し、前記ＬＴＰ−タイムスロット中に、スパイキング時の最大値から指数関数的に減衰するＬＴＰ関数の現在値を表す大きさのＬＴＰ−信号を１つ以上の出力に送信し、前記ＬＴＤ＋タイムスロット中に、スパイキング時の最大値から指数関数的に減衰するＬＴＰ関数の現在値を表す大きさのＬＴＤ＋信号を１つ以上の入力に送信し、前記ＬＴＤ−タイムスロット中に、スパイキング時の最大値から指数関数的に減衰するＬＴＰ関数の現在値を表す大きさのＬＴＤ−信号を１つ以上の入力に送信する、請求項１４の方法。